У задачи есть несколько путей решения.
К примеру, через подобие треугольников.
Пусть х - сторона квадрата (EF=ED=х).
Треугольник ЕВF подобен треугольнику АВС, следовательно х:6=(12-х):12.
Отсюда х=4, значит площадь(х ^2 ) =16
*небольшой психометрический нюанс. Ответы 2 и 4 можно сразу отбросить, т.к. они не являются квадратами целых чисел.