Сначала построим рисунок:

B
/\
/ \
5 / \ 5
/ \
/________\
A 6 C

Так как окружность проходит через вершины А и В, а ее радиус равен 5, то отрезки АМ и ВМ равны по 5. Также отрезок ВМ соответствует радиусу окружности, проходящей через точки А, М и С. Теперь можем воспользоваться теоремой Пифагора:

6^2 = 5^2 + BM^2
BM = √(36 - 25) = √11

Таким образом, радиус окружности, проходящей через точки А, М и С, равен √11.