Нужно открыть скобки и привести подобные слагаемые:

k * (5 - 3k) + 3k * (k - 1) = 5 * k - 3k * k + 3k * k - 3k * 1 = 5k - 3k^2 + 3k^2 - 3k = 5k - 3k = 2k.