Ошибка в том, что из равенства ((a-b)(a+b)=0) можно заключить «либо (a=b), либо (a=-b)» — это верно как разёк случаев, но нельзя одновременно подставлять оба и затем делить на (a-b) в случае, когда по предположению (a=b) — это деление на ноль. Частая неверная страта: предположить (a=b), получить противоречие при делении на (a-b), не заметив, что деление было недопустимо.

Правильное рассуждение (разбор по случаям):

Из ((a-b)(a+b)=0) следует либо (a-b=0), либо (a+b=0).У нас дополнительно условие (a\ne b). Поэтому случай (a-b=0) (т. е. (a=b)) исключается.Остаётся (a+b=0), то есть (\,a=-b). Поскольку (a\ne b), из (a=-b) следует дополнительно (a\ne0) (иначе (a=b=0)), но это просто уточнение.

Альтернативный короткий ход (легитимно, потому что (a\ne b)):
из ((a-b)(a+b)=0) и (a-b\ne0) делим на (a-b) и получаем (a+b=0), т. е. (a=-b).

Итого: решения системы ({a^2=b^2,\ a\ne b}) — все пары с (a=-b) и (a\ne0) (в частности, например ((1,-1))).