Кратко — два естественных метода и итог:
1) Факторизация / формула Йенсена. Заметим
$1-2a\cos x+a^2=|1-a{e}^{ix}{|}^2$,
поэтому
$$I(a)={\int }_0^{\pi }\ln |1-a{e}^{ix}{|}^{2}dx=2\Re {\int }_0^{\pi }\ln (1-a{e}^{ix})dx.$$ Для комплексного $a$ известна формула (частный случай формулы Йенсена / среднего логарифма):
$$\frac{1}{2\pi }{\int }_0^{2\pi }\ln |1-a{e}^{ix}|dx=\{\begin{array}{ll}0,& |a|<1,\\ \ln |a|,& |a|>1.\end{array}$$ Умножая на 2 и деля интервал пополам (интеграл по $0$–$\pi$ — половина интеграла по $0$–$2\pi$ потому что подынтегральная функция $2\pi$-периодична и чётна по сдвигу), получаем
$$I(a)=\{\begin{array}{ll}0,& |a|<1,\\ 2\pi \ln |a|,& |a|>1.\end{array}$$
2) Ряд Фурье (для $|a|<1$). Для $|a|<1$ раскладываем
$\ln (1-a{e}^{\pm ix})=-{\sum }_{n\ge 1}\frac{a^n{e}^{\pm inx}}{n}$,
складываем обе экспоненты и получаем
$$\ln (1-2a\cos x+a^2)=-2\sum _{n\ge 1}\frac{a^n}{n}\cos nx.$$ Интегрируя по $x\in [0,\pi ]$ все члены дают ноль (производные синуса на концах), поэтому $I(a)=0$ при $|a|<1$. Для $|a|>1$ выносится множитель $a^2$ и применяем предыдущий результат к $1/a$, что даёт $I(a)=2\pi \ln |a|$.
Аналитическое продолжение и поведение при $a\to 1$:
- Результат зависит только от модуля $a$: $I(a)=0$ внутри единичного круга, $I(a)=2\pi \ln |a|$ снаружи. Это даёт непрерывную предельную величину при приближении к границе: ${\lim }_{a\to 1}I(a)=0$.
- Однако функция не является голоморфной в $a$ (она зависит от $|a|$), и на границе $|a|=1$ нет аналитического продолжения в виде комплекс-аналитической функции через окружность. Непрерывность есть, но разрыв в производной: для действительного $a$ $$I^{\prime }(a)=\{\begin{array}{ll}0,& |a|<1,\\ \frac{2\pi }{a},& |a|>1,\end{array}$$ так что при $a\to 1^{-}$ производная равна $0$, а при $a\to 1^{+}$ стремится к $2\pi$ (разрыв).
- Специально для $a=1$ подынтегральная функция имеет логарифмическую (интегрируемую) особенность при $x=0$: $\ln (1-2\cos x+1)=\ln (4{\sin }^2(x/2))$, и интеграл конечен: $I(1)=0$ в смысле предела.
Короткая асимптотика при $a=1+\epsilon$ малом:
$$I(1+\epsilon )=2\pi \ln (1+\epsilon )\sim 2\pi \epsilon (\epsilon \downarrow 0),$$ а при $a=1-\epsilon$ для $0<\epsilon \ll 1$ имеем $I=0$.