5(x-40-(x+4)(x-4)

Раскрываем скобки внутри (x+4)(x-4):
= 5(x-40 - (x^2 -4x + 4x -16))
= 5(x-40 - x^2 + 4)
= 5x - 200 - 5x^2 + 20

Теперь объединяем все члены:
= -5x^2 + 5x - 180