Для начала найдем вектора a и b:

|a| = 5
|b| = 3

Теперь найдем вектора m и n:

m = 3a - b
n = a + 5b

Так как вектора m и n перпендикулярны, их скалярное произведение равно 0:

m n = 3a (a + 5b) - b * (a + 5b) = 0

Раскрываем скобки:

3a a + 15a b - a b - 5b b = 0

9a^2 + 14ab - 5b^2 = 0

Теперь найдем косинус угла между векторами a и b, зная их скалярное произведение:

cos(theta) = (a b) / (|a| |b|) = (14ab) / (15)

cos(theta) = 14 / 15

Ответ: cos(theta) = 14 / 15.