Выберу метод Лагранжа — он оптимален для гладкой функции с равенством-ограничением: даёт условия стационарности (включая геометрический смысл — нормаль к уровню функции совпадает с градиентом ограничения) и сразу работает с двумя переменными.
Решение.
Функция и ограничение:
$$f(x,y)=(x-1{)}^2+(y-2{)}^2,g(x,y)=xy-1=0.$$ Уравнения Лагранжа:
$$\nabla f=\lambda \nabla g⟹2(x-1)=\lambda y,2(y-2)=\lambda x,xy=1.$$ Из первого и второго:
$$\frac{x-1}{y}=\frac{y-2}{x}.$$ Подставляя $y=\frac{1}{x}$ получаем уравнение для $x$:
$$x^4-x^3+2x-1=0,$$ из которого положительный корень (соответствующий ветви гиперболы в I четверти, ближней к точке $(1,2)$) равен примерно
$$x\approx 0.53515,y=\frac{1}{x}\approx \mathrm{1.8689.}$$ Значение функции в этой точке:
$$f_{\min }=(x-1{)}^2+(y-2{)}^2\approx \mathrm{0.23331.}$$
Обоснование глобальности: $f$ непрерывна на множествах ветвей $xy=1$, при $x\to 0^{+}$ или $x\to \infty$ расстояние до $(1,2)$ растёт, поэтому найденный стационарный минимум на первой ветви является глобальным минимумом для этой ветви, а точка в I четверти даёт глобальный минимум по всему множеству (симметричные отрицательные ветви дальше от $(1,2)$).
Итого: метод Лагранжа — предпочтителен; минимум примерно $f_{\min }\approx 0.23331$ достигается при $(x,y)\approx (0.53515,1.8689)$.