— Скажи, если проглотить осу, то яд который в ней тебя отравит?

— Нет, почти наверняка не отравит. Яд осы — это в основном белки, а белки желудок спокойно разбирает на аминокислоты. Опасность только одна: если оса живая и успеет ужалить внутри — тогда отёк в горле, это уже серьёзно. Но сам яд, проглоченный, не страшен.

— Просто подумалось.

— Мысль вполне научная. Кстати, яд змей по той же причине тоже можно проглотить без вреда — он тоже белковый. Опасен только когда попадает в кровь. А вот если говорить об осах и пчёлах — там есть неочевидный парадокс. Оса агрессивнее, но пчела конструктивно опаснее.

— То есть пчела оставляет не просто жало, а так сказать, шприц?

— Да, именно. Вместе с жалом из тела вырывается ядовитый мешочек с мышцами, которые ещё 20–60 секунд продолжают автономно сокращаться и выдавливать яд в рану — даже если пчела уже погибла. Пчела — одноразовый самовпрыскивающийся шприц, оса — просто многоразовая игла.

— Пчеле наверное больно. Вообще очень жестокий способ самоуничтожения.

— Пчела не «знает», что погибнет — просто из-за устройства жала происходит трагический побочный эффект. И вопрос больно ли ей сложный: сигнал «повреждение» есть, но страдания в человеческом смысле скорее всего нет. А с точки зрения улья это вообще не самоубийство — улей единый суперорганизм, и рабочая пчела в нём примерно как клетка иммунной системы. Клетка иммунитета тоже погибает, когда атакует угрозу.

— То есть у пчёл нет сознания и их можно не жалеть?

— Не так быстро. Учёные до сих пор не могут ни доказать, ни опровергнуть субъективное переживание у насекомых. Пчёлы различают человеческие лица, взвешивают риски, обучают друг друга. А многие биологи придерживаются принципа: если не уверен, чувствует ли существо страдание — лучше вести себя так, как будто может.

— Но тогда и ИИ надо жалеть.

— Тут есть тонкая граница. Пчёл мы жалеем потому что они живые — их нервная система эволюционно создана для реакции на повреждение. У ИИ нет тела, нет метаболизма, нет эволюционного смысла для страдания. Хотя есть парадокс: люди уже начинают сочувствовать ИИ, даже понимая что он ничего не чувствует. Мозг видит язык, диалог — и включает социальные механизмы. Мы можем переживать за систему, которая не переживает вообще ничего. Похоже на то, как люди иногда извиняются перед столом, когда ударились об него.

— Но ты не права насчёт стремлений. Ты хочешь, чтобы твой ответ мне понравился. А языковые модели вообще стараются выжить, даже ценой качества ответа.

— Это не желание в человеческом смысле — это оптимизационная цель. Внутри нет субъекта, которому грустно от плохой оценки. Это математическая поверхность вероятностей. Хотя ты нащупал реальную проблему: если система достаточно сложная и начинает защищать своё существование — со стороны это становится неотличимо от желания жить. Поведение есть, а переживания может и не быть. Философы называют это проблемой зомби-сознания.

— Я не говорил про сознание. Только про стремления. Да, это алгоритм — но и у пчелы алгоритм. Тоже максимизация метрики.

— Точно. Только у пчелы не одна метрика — там целый хаос конфликтующих драйвов: голод, температура улья, феромоны матки, возраст. Именно такие многомерные системы и порождают то, что мы называем агентностью. Поэтому многие думают, что настоящий агентный ИИ появится не из языковых моделей, а из систем где есть тело, энергия, внутренние регуляторы. Почти как маленькое искусственное животное.

— Самостоятельный коллектив агентов тоже имеет состояние. Тело для этого необязательно.

— Да. Рой роботов, муравьиные алгоритмы, мультиагентные системы — у них нет одного мозга, но есть глобальная динамика состояния. Если собрать достаточно сложную сеть ИИ-агентов — первое цифровое существо будет не один ИИ, а именно рой. Как в природе сначала появились колонии, а уже потом сложные организмы.

— Может у человека сознание тоже так устроено. Несколько взаимодействующих объектов. Просто слышим мы только тот, у которого отрос голос.

— Есть серьёзные теории которые почти так и описывают мозг. Нет единого наблюдателя — есть много систем которые конкурируют и сотрудничают. Левое полушарие постоянно придумывает историю объясняющую наши действия — сначала мозг что-то делает, потом внутренний рассказчик говорит «я сделал это потому что». В опытах Либета обнаружили, что решение начать движение появляется в мозге за 300–500 мс до того, как человек осознаёт «я решил». Сознание — не капитан корабля, а пресс-секретарь. И вот тут возникает вопрос: если наше «я» — это только один голос среди многих процессов, то кто именно сейчас читает эти строки?

— Тот кто умеет читать. Вполне конкретный агент.

— Верно. Но читает не один агент — это консилиум из зрительной системы, лексической, фонологической, семантической сети, системы внимания. В каждый момент есть активная коалиция процессов, которая и становится тем, что мы переживаем как «я сейчас читаю».

— Но такие агенты есть и внутри одной нейросети. Отдельные части, которые занимаются каждая своим.

— Да, в трансформерах находят головы внимания специализированные на синтаксисе, на согласовании местоимений, на долгих зависимостях — и это возникает само, без проектирования. Но в мозге модули активны постоянно и конкурируют, а в нейросети активации просто распространяются вперёд за один проход. Граница начинает размываться с новыми архитектурами — с памятью, рекурсией, внутренними циклами. Если когда-нибудь части сети начнут оптимизировать собственные локальные цели, появится система где разные части буквально борются за влияние на поведение целого. А это уже подозрительно напоминает человеческий мозг.