Преобразуем выражение к виду:

x^2 - 2xy + y^2 = (x - y)^2;

x = 8; y = 3;

(8 - 3)^2 = 5^2 = 25.