В данном случае правильное упрощение выглядит так:

$10x-8xy-3xy=10x-(8xy+3xy)$.

Здесь вы правильно используете знак «плюс» в скобках, потому что вы группируете два термина с одинаковым знаком, чтобы подчеркнуть, что мы отнимаем их сумму. Таким образом, верное выражение — это $10x-(8xy+3xy)$.

Что касается выражения $(8xy-3xy)$, оно не подходит, потому что это было бы разностью двух слагаемых, а вам нужно отнять сумму.