a + b нам дано - это равно 5.

Возводим обе части в квадрат и получаем:

(a + b) ^2 = 25

Отсюда:

a ^2 + 2ab + b ^2 = 25

a ^2 + b ^2 = 25 - 2ab

Знаем из условия, что ab = 6

a ^2 + b ^2 = 25 - 12 = 13.

Где была загвоздка?