Пусть количество треугольников, нарисованных Колей, равно х, а количество квадратов - у.

Так как треугольник имеет 3 вершины, а квадрат - 4 вершины, то получаем уравнения:

3x + 4y = 11 (общее количество вершин)
x + y = 3 (общее количество фигур)

Решаем это систему уравнений методом подбора или методом вычитания и находим, что Коля нарисовал 2 треугольника и 1 квадрат.