Для нахождения квадрата длины вектора |a-b|^2 можно воспользоваться следующим выражением:

|a-b|^2 = |a|^2 + |b|^2 - 2(a*b)

Где |a| и |b| - длины векторов a и b, a*b - скалярное произведение этих векторов.

Из условия известно, что |a| = 10, |b| = 1 и a*b = 5.

Подставим значения в формулу:

|a-b|^2 = 10^2 + 1^2 - 2*5
|a-b|^2 = 100 + 1 - 10
|a-b|^2 = 91

Итак, квадрат длины вектора |a-b|^2 равен 91.