За много лет мы как-то привыкли, что Компьютеры оперируют числами, логикой и прочей абстракцией. И поэтому многие еще не осознали, что нейросетевой ИИ — не такой. Нейросети дают ответ на основании предыдущих знаний. Можно сказать, что современные нейросети — это модель ИНТУИЦИИ. Да, они могут писать програмный код, но делают они это на эрудиции, а не на размышлении. Можно скозать, что нейросети сейчас — гуманитарии, а не технари (хоть это и контринтуитивно).
Вывод из этого: гуманитарии могут писать крутой код :)

C абстракциями у нейросетей все слабо. Все знают про глюки с количеством пальнцев, но и в целом нейросети плохо умеют считать. Если попросить нейросеть нарисовать 5 яблок, то яблок будет несколько, но не 5. Более того, они не понимают саму концепцию числа как меры эквивалентности. Я экспериментировал с Клодом (ии такой) показывал картинку где были три пчели и три яблока, и спрашивал что общего между ними. Нейросеть говорила, что и то и другое биообьекты, что пчелы опыляют яблоки и много еще чего, но про колличество — ни слова. Я попытался взять не пчелу и яблоко, а мивой и неживой обьект, геометрические фигуры и т.п., нейросеть легко находила общие признаки (которые мне ив голову не пришли бы) но колличества там не было. Тогда я решил подсказать нейросети, и выбил из нее определение числа через меру эквивалентности, но и после этого нейросеть не увидела общееколичество. Наконец, я просто спросил, можно ли считать количество пчел и яблок общим признаком, на что Клод, с некоторым удивлением признал, что да, можно, но упрямо добавил, что есть и другие общиепризнаки.

В целом тот уровень абстракций, который сложен для человека, сложен так же и для современных нейросетей. И это не случайно, я думаю. Скорее всего дело в похожей архитектуре.

Так что, по своей природе нейросети гораздо человечнее, чем многие думают. И, так же как люди, они ошибаются, их можно обмануть, у них могут быть суеверия, они могут быть как умны, так и глупы.