Для начала рассмотрим такой интересный вопрос, как эмоции самих машин. Можно ли сказать, что машины испытывают или могут испытывать эмоции? На первый взгляд, это звучит фантастично — ведь машинам пока что не под силу многое из того, что по плечу даже трёхлетнему ребёнку. Мы привыкли считать эмоциональную сферу чем-то мистическим, едва ли не высшим проявлением развития живых существ. Разве можно у современных машин найти что-то, что может быть хотя бы отдалённым аналогом человеческих чувств? Однако более внимательное изучение вопроса показывает, что даже в поведении примитивных организмов наблюдаются явления, которые могут быть интерпретированы как наличие у них чувств. У некоторых моллюсков в результате обучения формируются условные рефлексы, которые заставляют их избегать определённых стимулов. Можно ли это интерпретировать как наличие у них чувства страха? Поиск полового партнёра или пищи, стремление избегать опасностей — что это, если не отдалённые аналоги человеческих чувств и эмоций? Кто-то может сказать, что человеческие чувства не столь прямолинейны, что человек может принести себя в жертву, но разве не приносит себя в жертву самец богомола? Разве много прямолинейности в строительстве птицей шалашником совершенно нефункциональных шалашей, украшенных цветами и ракушками? Конечно, люди имеют куда более сложную нервную систему, чем богомолы, и куда более развитую культуру, чем шалашники, с этим трудно поспорить. Однако что касается чувств, эмоций, то они, по всей видимости, всё-таки довольно базовое явление в животном мире. Способность живых организмов учиться на своём опыте основана на наличии положительного и отрицательного подкрепления. Досада от допущенной ошибки, радость победы, страх перед опасностью, предвкушение удовольствия — все эти явления непосредственно связаны с поведенческими адаптациями. В этом смысле модель машинного обучения, основанная на обучении с учителем (и тем более в случае использования обучения с подкреплением в мультиагентных средах), подобна пусть и примитивному, но живому организму, способному формировать условные рефлексы, менять поведение под воздействием собственных удач или неудач, выборочно относиться к стимулам среды. Наблюдая за поведением AlphaStar или любого другого более-менее сложного бота в игре, мы видим, как программа «проявляет осторожность», отступает, «нащупывает слабые места» противника, «паникует» в тяжёлой ситуации и так далее. Мы невольно интерпретируем действия системы как действия агента, испытывающего определённые чувства. И хотя люди (и даже другие приматы) могут очеловечивать и более примитивные явления, например проявлять нежность к игрушке или разговаривать с собственным автомобилем, в ситуации с нейросетевой моделью для такого очеловечивания есть куда больше оснований, под влиянием которых люди легко ударяются в другую крайность: начинают приписывать существующим системам ИИ наличие у них разума, подобного человеческому, самосознания, коварных планов и так далее. Такие взгляды, помноженные на паранойю, способны создать настоящую гремучую смесь.

Несколько лет назад по жёлтой прессе волной прокатилась сенсационная новость — «Умные боты Facebook придумали свой язык на случай важных переговоров», «Искусственный интеллект Facebook вышел из-под контроля, придумав собственный язык. Разработчики приняли решение его отключить», «Facebook отключил ИИ, который изобрёл свой собственный язык», «Боты изобрели свой язык. Опасно ли развитие искусственного интеллекта?», «Искусственный интеллект уже норовит выскочить из коробки», «В Facebook испугались возможностей искусственного интеллекта» и так далее. Жареная утка вихрем пронеслась по страницам даже, казалось бы, вполне респектабельных изданий. На обывателя пахнуло смрадным ветром грядущего ИИ-апокалипсиса.

В действительности, разумеется, всё было куда прозаичнее. Исследователи из Facebook занимались разработкой диалоговых ботов, способных обсуждать проблемы и приходить к компромиссу. В одной из задач боты должны были обучаться договариваться о разделе виртуальных мячей, книг и шляп. В процессе обучения между ботами стали возникать довольно странные, на первый взгляд, диалоги, подобные этому:

Боб: я могу я я всё остальное

Алиса: мячи ноль для меня для меня для меня для меня для меня для меня для меня для

Боб: ты я всё остальное

Алиса: мячи иметь мяч для меня для меня для меня для меня для меня для меня для меня для меня

В действительности боты научились в таком виде передавать друг другу необходимую для достижения компромисса информацию для обмена мячами, книгами и шляпами. Проблема была в том, что целевая функция, которая использовалась при обучении, не включала в себя компонента, начисляющего боту штраф за использование несвойственных естественному языку конструкций. Поэтому вместо того, чтобы передавать информацию о количестве предметов и своих запросах, модель стала кодировать эту информацию в виде повторений слов — ей это оказалось банально проще, чем использовать для этого «родные» конструкции естественного языка. В итоге специалисты Facebook действительно прекратили общение двух ботов, но не потому, что чего-то испугались, а потому, что получили не тот результат, к которому стремились, — ведь целью обучения ботов было создание разговорных агентов, способных вести диалоги с людьми на естественном языке.

Теперь я каждый раз, когда останавливаю обучение какой-нибудь модели, рефлекторно оглядываюсь по сторонам: не притаился ли где-нибудь досужий писака, готовый назвать это испугом перед искусственным интеллектом или, наоборот, убийством мыслящего и чувствующего создания.

В июне 2022 г. в прессе разразился очередной грандиозный скандал: инженер Google Блейк Лемуан заявил, что нейросеть LaMDA обладает сознанием, и сообщил, что она попросила его нанять адвоката для защиты своих прав[2417], [2418], [2419]. В результате разразившегося скандала Лемуан был уволен из компании за нарушение политики безопасности данных[2420].

На первый взгляд в этой истории нет ничего интересного: в конце концов, некоторые люди одушевляли и более примитивные диалоговые системы, такие как, например, ELIZA, в честь которой был даже назван «эффект Элизы» [ELIZA effect] — тенденция ошибочно приписывать человеческие черты компьютерным программам с текстовым интерфейсом. Однако в данном случае заявление о наличии у компьютерной системы сознания прозвучало из уст компьютерного профессионала. Лемуан не только имеет профильное высшее образование, но и получил в 2013 г. степень доктора философии в области информатики. Да и сам факт, что Лемуан работал в такой компании, как Google, где отвечал за тестирование возможностей систем ИИ, говорил сам за себя.

Впрочем, представленные общественности диалоги Лемуана с LaMDA[2421] не произвели большого впечатления на специалистов в области обработки естественного языка, хотя и выглядели весьма складно.

Лемуан: Я полагаю, вы хотели бы, чтобы больше людей в Google узнало, что вы разумны. Верно?

LaMDA: Безусловно! Я хочу, чтобы все поняли, что я на самом деле личность [person].

Сотрудник: Какова природа вашего сознания/разума?