Чтобы избавиться от иррациональности в знаменателе дроби, нужно умножить и разделить дробь на конъюгат (полином с противоположным знаком перед иррациональностью).

11 / 3√3 + 4

11 / 3√3 + 4 3√3 - 4
(11 3√3 - 44) / (9*3 - 16)
(33√3 - 44) / 1
33√3 - 44