Известно, что угол падения равен углу отражения, следовательно, уравнения прямых должны быть перпендикулярны друг другу.

Уравнение прямой mx + ny - m^2 - n^2 = 0 имеет направляющий вектор $m,n$, а уравнение прямой 2nx + mx - 3mn = 0 имеет направляющий вектор $2n,m$.

Так как векторы перпендикулярны, их скалярное произведение должно быть равно нулю:

m 2n + n m = 0
2mn + mn = 0
3mn = 0

Отсюда следует, что m = 0 или n = 0, но так как m и n не равны нулю, следовательно, прямые перпендикулярны.

Уравнение отраженного луча будет иметь вид, подставив m=1, n=5:

y = -x + 5