Исправленное предложение:
«Профессор сказал, что задача будет сложной, но студенты постараются решить её вовремя.»

Пояснения к правкам:

Заменён двоеточие после «Профессор сказал:» на запятую — правило: если дальше идёт изъяснительное придаточное с союзом «что», вводится запятая, а не двоеточие (правильный вариант косвенной речи: «сказал, что …»).

Удалён дефис в «что‑задача» — правильно: «что задача». Дефис здесь не уместен (не образует составного слова или вставки), между союзом «что» и подлежащим ставится пробел.

Исправлено «будет сложная» на «будет сложной» — грамматически: после связки «быть» при указании качества предмета прилагательное ставится в соответствующей форме (полной/краткой/инструментальной). В данном контексте корректно: «задача будет сложной» (альтернативно допустимо «задача будет сложна», но «будет сложная» — неверно).

Удалён дефис в «но‑ студенты» и убран лишний пробел — правильно: «но студенты». Союз «но» не требует дефиса; между словами ставится обычный пробел.

Поставлена точка в конце предложения внутрь кавычек — по правилу оформления полного предложения в кавычках знак окончания ставится внутри кавычек: «…вовремя.»

«ее» заменено на «её» (диерезис над е) — стилистическая правка: современные издания часто пишут «её» с точками; написание «ее» без точек тоже допустимо по норме, поэтому это изменение не является обязательным, а скорее рекомендацией оформления.

Если предпочитаете вариант прямой речи (оставить двоеточие и представить слова профессора дословно), можно написать:
Профессор сказал: «Задача будет сложной, но студенты постараются решить её вовремя.»