Ошибка в формулировке: существование производной в одной точке не влечёт автоматически дифференцируемость функции в окрестности этой точки (дифференцируемость — локальное свойство на множестве точек, а производная в точке — только в этой точке). Простая контрпример:
Пусть
$$f(x)=\{\begin{array}{ll}{x}^2,& x\in \mathbb{Q},\\ 0,& x\notin \mathbb{Q},\end{array}f(0)=0.$$ Тогда
$$\frac{f(h)-f(0)}{h}=\{\begin{array}{ll}h,& h\in \mathbb{Q},\\ 0,& h\notin \mathbb{Q},\end{array}$$ и при $h\to 0$ обе ветви стремятся к $0$, значит $f^{\prime }(0)=0$. Но в любой окрестности нуля есть ненулевые рациональные точки $r$, в которых предел разностного отношения не существует (при подходе по иррациональным слагаемым дробь ~$-r^2/h$ расходится), поэтому функция не дифференцируема на никакой окрестности 0, кроме самой точки 0.
Корректная формулировка (теорема о границе касательной / о пределе производных):
Пусть функция $f$ определена в некоторой окрестности точки $a$ и дифференцируема во всех точках этой окрестности, кроме, может быть, самой точки $a$ (т.е. на punctured neighbourhood). Если существует конечный предел
$$\underset{x\to a}{\lim }{f}^{\prime }(x)=L,$$ то $f$ дифференцируема в точке $a$ и $f^{\prime }(a)=L$.
Краткое доказательство: по теореме Лагранжа для любого $x\ne a$ найдётся $\xi$ между $x$ и $a$ с
$$\frac{f(x)-f(a)}{x-a}=f^{\prime }(\xi ).$$ При $x\to a$ имеем $\xi \to a$ и правые части стремятся к $L$; значит предел разностных частных существует и равен $L$, поэтому $f^{\prime }(a)=L$.