Пусть O - центр окружности.

Так как AM проходит через центр окружности, то △ABO является прямоугольным:
AB^2 = AM^2 + MO^2
(√3)^2 = 1^2 + MO^2
3 = 1 + MO^2
MO^2 = 2

Также △AMN является равнобедренным, так как AM - медиана, опущенная из вершины угла ANM.
Так как △AMO - прямоугольный, то по теореме Пифагора имеем:
AM^2 + MO^2 = AO^2
1 + 2 = AO^2
3 = AO^2

Найдем теперь AO по формуле квадратного корня из разности квадратов двух катетов прямоугольного треугольника AO^2 = AM^2 - MO^2:
AO^2 = (AB - MO)^2
3 = (√3 - √2)^2
3 = 3 - 2√6 + 2
2√6 = 2
√6 = 1

Теперь найдем расстояние от точки B до прямой AN. Для этого найдем квадрат расстояния от точки B до прямой AN. Проведем высоту BN из точки N на прямую AM. Так как △NBM также является прямоугольным, то BN^2 = MO^2 + BO^2. Найдем длину BO.

Так как треугольник AMO является прямоугольным, то BO^2 = AO^2 - AM^2 = 3-1 = 2.

Получаем BN^2 = MO^2 + BO^2 = 2 + 2 = 4.

Так как BO является медианой треугольника ABN, то BN = AB/2 = √3 / 2.

Таким образом, квадрат расстояния от точки B до прямой AN равен 4 - (3/2)^2 = 4 - 3/4 = 13/4.