Производная в точке $a$ по определению — это предел разностного отношения
$$f^{\prime }(a)=\underset{x\to a}{\lim }\frac{f(x)-f(a)}{x-a},$$ если этот предел существует и конечен. Тогда касательная в точке $(a,f(a))$ — прямая
$$y=f(a)+f^{\prime }(a)(x-a).$$
Когда предел разностного отношения не существует, касательная всё же может существовать в двух типичных случаях:
1) Нормальная (конечная) касательная: существует число $m$ такое, что
$$\underset{x\to a}{\lim }\frac{f(x)-f(a)-m(x-a)}{|x-a|}=0.$$ В этом случае $m$ — наклон касательной и тогда обязательно ${\lim }_{x\to a}\frac{f(x)-f(a)}{x-a}=m$. То есть для конечной касательной разностное отношение должно иметь предел; отсутствие предела здесь исключает касательную.
2) Вертикальная касательная: прямая $x=a$ является касательной, хотя разностное отношение не имеет конечного предела (оно стремится к $\pm \infty$ или «взрывается»). Удобная формулировка: прямая $x=a$ — касательная, если
$$\underset{x\to a}{\lim }\frac{|x-a|}{|f(x)-f(a)|}=0,$$ или если $\underset{x\to a}{\lim }\frac{f(x)-f(a)}{x-a}=\pm \infty$. Пример: $f(x)=\sqrt[3]{x}$ в точке $0$ имеет вертикальную касательную $x=0$, хотя $f^{\prime }(0)$ не конечен.
Случаи, когда предел разностного отношения не существует и касательной нет: левый и правый односторонние пределы конечны, но не равны (угловая точка, пример $f(x)=|x|$ в $0$), или предел осциллирует (пример $f(x)=x\sin (1/x)$, $f(0)=0$) — тогда нет ни конечной, ни вертикальной касательной.
Кратко: дифференцируемость ⇔ существует конечный предел разностного отношения ⇔ есть неторцованная (невертикальная) касательная; однако касательная может существовать и при несуществующей (нефинитной) производной в виде вертикальной касательной, когда разностное отношение стремится к бесконечности.