М. Ф.: Сейчас в сфере ИИ дефицит кадров, поэтому там рады любым специалистам. Какой совет вы можете дать студентам, которые хотят делать карьеру в этой области?

Дж. Х.: Меня беспокоит нехватка людей, которые критически относятся к основам. Идея капсул была призвана показать, что, возможно, часть общепринятых способов не дает нужных результатов и нужно мыслить шире. Поэтому тем, кто чувствует, что какие-то вещи делаются неправильно, я советую следовать своей интуиции. Студентов и аспирантов я считаю наиболее плодотворным источником новых идей. Они свободно выдвигают действительно новаторские предложения и все время учатся. Те, кто пришел в отрасль, уже получив степень магистра, как правило, не собираются ничего предлагать.

М. Ф.: Создается впечатление, что основные исследования глубокого обучения производятся в Канаде. Это случайность или этому способствуют какие-то факторы?

Дж. Х.: Большая удача, что в Канаде работают Ян Лекун и Иошуа Бенджио. Мы плодотворно сотрудничаем, при поддержке CIFAR, который финансирует фундаментальные исследования, невзирая на высокие риски.

М. Ф.: То есть глубокому обучению удалось остаться на плаву благодаря стратегическим инвестициям канадского правительства?

Дж. Х.: Да. По сути, канадское правительство вкладывает в глубокое обучение по полмиллиона долларов в год, что можно считать разумной инвестицией в индустрию, которая в будущем может принести миллиарды.

М. Ф.: Общаетесь ли вы с вашим коллегой Джорданом Питерсоном? Иногда кажется, что Университет Торонто – это источник дестабилизации…

Дж. Х.: С моей точки зрения, он из тех, кто не понимает, когда лучше промолчать.

Ник Бостром

“Дело не в том, что ИИ возненавидит нас за то, что мы поработили его, и не в том, что у него внезапно возникнет искра сознания, которая заставит его взбунтоваться. Просто этот интеллект, скорее всего, будет компетентно преследовать собственные, не совпадающие с нашими цели. И мы окажемся в будущем, сформированном в соответствии с чужими критериями.

Профессор, основатель и директор FHI

Ника Бострома знают как одного из ведущих мировых экспертов в области суперинтеллекта и опасностей, которые потенциально несут человечеству ИИ и машинное обучение. Ник – автор бестселлера по версии The New York Times 2014 г. «Искусственный интеллект: этапы, угрозы, стратегии» и около 200 публикаций, в том числе Anthropic Bias («Антропный уклон», 2002 г.), Global Catastrophic Risks («Глобальные риски», 2008 г.), Human Enhancement («Усовершенствование человека», 2009 г.).

Учился в Гетеборгском и Стокгольмском университетах, а также в Королевском колледже Лондона. Степень доктора философии получил в Лондонской школе экономики.

Имеет опыт работы в области физики, ИИ, математической логики и философии. Стал лауреатом премии Eugene R. Gannon Award, которая каждый год вручается одному ученому в мире за достижения в области философии, математики и естественных наук. Его имя находится в списках 100 лучших мыслителей внешней политики и мировых мыслителей журнала Prospect. Самый молодой человек в топ-15 из всех областей и самый высокопоставленный аналитический философ. Его произведения переведены на 24 языка. Сделано более 100 переводов и переизданий его работ.

Мартин Форд: Вы писали об опасностях, связанных с суперинтеллектом – системой, которая может появиться, если сильный ИИ направит свою энергию на самосовершенствование.

Ник Бостром: Да, я описал один из сценариев и связанную с ним проблему, но наступление эры машинного интеллекта может пройти и по другим сценариям, с которыми связаны совсем другие проблемы.

М. Ф.: Вы заострили внимание на проблеме контроля, или выравнивания, то есть на ситуации, когда цели машинного интеллекта могут негативно повлиять на человечество. Расскажите об этом более подробно.

Н. Б.: Что ж, проблема очень продвинутых систем ИИ, которая отличается от других технологий, заключается в том, что не только люди могут злоупотреблять этой технологией. Технология может злоупотреблять собой сама. Другими словами, вы создаете искусственного агента или процесс, который имеет свои собственные цели и задачи, и этот агент имеет все возможности достичь этих целей, потому что в этом сценарии он является сверхразумным. Цели, которые эта мощная система пытается оптимизировать, отличаются от наших человеческих ценностей и, возможно, даже не соответствуют целям, которых мы хотим достичь в мире. Когда у вас есть люди, пытающиеся достичь чего-то одного, и суперинтеллектуальная система, пытающаяся достичь чего-то другого, вполне возможно, что суперинтеллект будет побеждать и добиваться своего.

Дело не в том, что ИИ возненавидит нас за то, что мы поработили его, и не в том, что у него внезапно возникнет искра сознания, которая заставит его взбунтоваться. Просто этот интеллект, скорее всего, будет компетентно преследовать собственные, не совпадающие с нашими цели. И мы окажемся в будущем, сформированном в соответствии с чужими критериями. Соответственно, чтобы решить проблему контроля, или выравнивания, нужно найти способы проектировать системы ИИ как продолжения человеческой воли. Чтобы поведение этих систем формировалось человеческими намерениями, а не какими-то случайными результатами внутри самих систем.

М. Ф.: В своих интервью вы приводили в пример систему, производящую скрепки, которая достигает поставленной перед ней цели с помощью сверхинтеллектуальных способностей, но в конечном итоге превращает в скрепки всю Вселенную, так как лишена здравого смысла. Это иллюстрация проблемы выравнивания?

Н. Б.: Пример скрепки иллюстрирует широкую категорию возможных сбоев, когда вы просите систему сделать что-то одно, и, возможно, вначале все получается довольно хорошо, но затем она приходит к выводу, который находится вне нашего контроля. Пример, в котором вы разрабатываете ИИ для управления фабрикой скрепок, карикатурен, но хорошо передает суть. Сначала этот ИИ глуп, но чем умнее он становится, тем лучше работает. Владелец фабрики очень доволен и хочет добиться большего прогресса. Однако когда ИИ становится достаточно умным, он осознает, что существуют другие способы создания еще большего количества скрепок в мире, например, он может забрать контроль у людей и превратить всю планету в скрепки или космические зонды, которые превратят всю вселенную в скрепки.

Суть в том, что при постановке цели, включающей увеличение количества, нужно быть крайне осторожными в формулировках.

М. Ф.: Почему основные обсуждения посвящены способам достижения цели? Я не слышал примера, в котором система просто поменяла бы свою цель. Люди поступают так сплошь и рядом!