Для начала подставим данные значения в выражение:

(2(-1.038)+3√3)² - 3(-1.038)(4/(3(-1.038))+4√3)

(-2.076 + 3√3)² - (-3.114)*(4/(-3.114)+4√3)

Далее, выполним вычисления:

(-2.076 + 3√3)² = (-2.076)² + 2(-2.076)3√3 + (3√3)²
= 4.3076 - 12.456√3 + 9
= 13.3076 - 12.456√3

-3.114 (4/(-3.114) + 4√3) = -3.114 (-4/3.114 + 4√3)
= 3.114*4/3.114 - 12.456
= 4 - 12.456
= -8.456

Подставим значения обратно в выражение:

(13.3076 - 12.456√3) - (-8.456)

13.3076 - 12.456√3 + 8.456
= 21.7646 - 12.456√3

Таким образом, результат выражения (2х+3у)²-3х(4/3х+4у) при х=-1,038 у=√3 равен 21.7646 - 12.456√3.