Пусть стороны прямоугольника равны a и b.

Так как у нас угол между диагоналями 60 градусов, то диагонали равны между собой.
Допустим, диагонали обозначаются d1 и d2. По формуле площади прямоугольника можно записать:

S = 1/2 d1 d2
12^2 = 1/2 d1 d2
288 = d1 d2
d1 = d2 = sqrt(288) = 12sqrt(2)

Так как диагонали разбивают прямоугольник на 4 равнобедренных треугольника, то у нас возникает равенство:

tan(30градусов) = a/(1/2 d1) = b/(1/2 d2)
tg(30) = a/(1/2 12sqrt(2)) = b/(1/2 12sqrt(2))
1/3sqrt(3) = a/(6sqrt(2)) = b/(6sqrt(2))
a = b = 2sqrt(2)sqrt(3) = 2sqrt(6)

Итак, стороны прямоугольника равны 2*sqrt(6) см.