что всё, во что я раньше верил, отменяется. <…> Я думал, что пройдут сотни лет, прежде чем появится что-то весьма отдалённо похожее на человеческий разум, что асимптотически приблизится к уровню человеческого интеллекта, причём снизу. Я никогда не представлял, что компьютеры будут соперничать с человеческим интеллектом или даже превосходить его. Это была настолько далёкая цель, что я не беспокоился об этом. А потом это начало происходить всё быстрее, недостижимые цели и вещи, которые компьютеры не должны были быть в состоянии сделать, начали сдаваться… <…> Я думаю, что [прогресс ИИ] ужасает. Я ненавижу его. Я думаю об этом практически всё время, каждый божий день. <…> Такое ощущение, что вся человеческая раса вот-вот будет превзойдена и оставлена в пыли.

Ускоряющийся прогресс оказался настолько неожиданным, что застал врасплох не только меня, но и многих, многих людей — возникает некий ужас перед надвигающимся цунами, которое застанет врасплох всё человечество. Неясно, будет ли это означать конец человечества в том смысле, что системы, которые мы создадим, уничтожат нас, неясно, так ли это, но вполне возможно. Если нет, то это просто превращает человечество в очень маленькое явление по сравнению с тем, что гораздо более разумно, чем мы, и что станет для нас непостижимым в той же мере, как мы непостижимы для тараканов[3075], [3076].

22 марта 2023 г. на сайте некоммерческой организации «Институт будущего жизни» [Future of Life Institute] было опубликовано открытое письмо с призывом ко всем ИИ-лабораториям приостановить как минимум на шесть месяцев обучение более мощных моделей, чем GPT-4. По мнению авторов письма: «Системы искусственного интеллекта, способного конкурировать с человеческим, могут представлять серьёзную опасность для общества и человечества в целом…»

Авторы письма ссылаются на «Принципы работы с ИИ», разработанные в ходе конференции в Асиломаре (Калифорния, США) 2017 г., в которых, в частности, говорится: «продвинутый ИИ может повлечь коренные изменения в истории жизни на Земле, и его разработка и управление должны осуществляться при наличии соответствующих ресурсов и в условиях особой тщательности». Авторы письма констатируют, что к их глубокому сожалению «такого уровня планирования и управления в настоящее время не существует, в то время как в последние месяцы ИИ-лаборатории застряли в неконтролируемой гонке по разработке и развёртыванию всё более мощных цифровых умов, которые никто — даже их создатели — не могут понять, предсказывать или надёжно контролировать».

Интересно, что одним лишь призывом к ИИ-лабораториям авторы письма не ограничиваются. «Если быстро приостановить [работы ИИ-лабораторий] невозможно, — пишут они, — то правительства должны вмешаться и ввести мораторий».

Подписанты считают, что ИИ-лаборатории и независимые эксперты должны использовать «передышку» для совместной разработки и внедрения системы общих протоколов безопасности, чтобы независимые внешние эксперты могли контролировать разработку передовых систем ИИ. Параллельно авторы письма предлагают создать новые регулирующие органы, занимающиеся вопросами ИИ, а также системы государственного контроля, которые смогут обеспечить безопасность создаваемых систем[3077], [3078].

Среди прочих письмо подписали Илон Маск, Йошуа Бенджио, Стив Возняк, известный американский астрофизик Макс Тегмарк (кстати говоря, он является одним из основателей «Института будущего жизни»), а также многие другие эксперты в области информационных технологий.

В целом письмо написано в относительно взвешенной манере, хотя и содержит несколько достаточно сильных заявлений, таких, как утверждения о нашей неспособности понимать, предсказывать или надёжно контролировать разрабатываемые системы ИИ.

Куда более ёмким и афористическим стало опубликованное 30 мая того же года на сайте Центра за безопасность ИИ [Center for AI safety] «Заявление об ИИ-рисках» [Statement on AI Risk]. Его текст гласит: «Снижение риска вымирания из-за ИИ должно стать глобальным приоритетом наряду с другими рисками общественного масштаба, такими как пандемии и ядерная война». По мнению авторов, заявление призвано преодолеть существующие затруднения в публичном обсуждении ИИ-рисков и открыть дискуссию на эту тему. Оно также должно обратить внимание общества на рост числа экспертов и общественных деятелей, которые «всерьёз воспринимают некоторые из наиболее значительных рисков передового ИИ»[3079].

Среди подписавших это заявление можно найти имена Билла Гейтса, Йошуа Бенджио, Дэмиса Хассабиса, Сэма Альтмана, Ильи Суцкевера и многих других предпринимателей и специалистов из мира ИИ. Примечателен кейс Джеффри Хинтона, покинувшего корпорацию Google, в которой он проработал более десяти лет, для того, чтобы иметь возможность более открыто высказываться на тему ИИ-рисков, не задумываясь о том, как это повлияет на его работодателя. Уход Хинтона из Google тут же стал источником домыслов и газетных врак. Например, журналист The New York Times предположил, что Хинтон ушёл из Google, чтобы критиковать её. Хинтон тут же выступил с опровержением в своём твиттере, заявив, что Google [в отношении ИИ-рисков] действует весьма ответственно [very responsibly][3080]. Заголовок же новости CBS и вовсе гласил: «Канадский пионер искусственного интеллекта Джеффри Хинтон говорит, что искусственный интеллект может уничтожить людей. А пока можно заработать» [Canada's AI pioneer Geoffrey Hinton says AI could wipe out humans. In the meantime, there's money to be made]. Разумеется, фразу про заработок Хинтон никогда не произносил[3081].

В целом многие учёные в области машинного обучения и представители крупного ИТ-бизнеса на волне общественного интереса к ИИ поддержали необходимость внимательного отношения к ИИ-рискам, а также их открытого обсуждения. Однако нашлись и те, кто пошёл в своих заявлениях существенно дальше. Так, один из ярких представителей движения рационалистов, основатель сайта и сообщества LessWrong Элиезер Юдковский обрушился на сторонников моратория в обучении продвинутых моделей со страниц «Тайм». Его статья с недвусмысленным названием «Приостановки разработки ИИ недостаточно. Нам нужно прекратить её полностью» [Pausing AI Developments Isn't Enough. We Need to Shut it All Down] содержит весьма радикальные призывы: «Отключите все большие кластеры графических процессоров (большие компьютерные фермы, где совершенствуются самые мощные системы ИИ). Остановите все большие задачи по обучению. Установите потолок вычислительной мощности, которую разрешено использовать для обучения систем ИИ, и в ближайшие годы понижайте его, чтобы компенсировать более эффективные алгоритмы обучения. Никаких исключений для правительств и вооружённых сил. Немедленно заключите международные соглашения для предотвращения перемещения запрещённых видов деятельности куда-либо. Отслеживайте все проданные графические процессоры. Если разведка сообщает, что страна, не входящая в соглашение, строит GPU-кластер, опасайтесь не столько вооружённого конфликта между странами, сколько нарушения моратория; будьте готовы уничтожить авиаударом принадлежащий изгоям центр обработки данных [rogue datacenter]».

Далее следуют рассуждения о том, что ради предотвращения ИИ-апокалипсиса можно пойти и на риск обмена ядерными ударами и повторяющееся заклинание: «Вырубите всё это!» [Shut it all down!][3082].

В