Для сокращения данной дроби нужно вынести за пределы дроби и извлечь квадратный корень из числителя:

(a-1)/(√a+1) = (a-1)/(√a+1) * (√a-1)/(√a-1)
= (√a-1)(a-1)/(a-1)
= √a-1.