Если конструкция предложения именно такая, то правильно: мне не жарко и не холодно.

Если важно сохранить именно частицу "ни", можно поменять конструкцию так, чтобы применить устойчивое выражение: мне ни холодно, ни жарко.