Дилан Эванс

Основатель и генеральный директор Projection Point; автор книги «Оценка риска» (Risk Intelligence)

Умным людям часто удается избежать когнитивных ошибок, от которых страдают менее одаренные личности. Но есть виды глупости, поражающие только очень умных. Беспокойство по поводу опасности враждебного искусственного интеллекта — ярчайший тому пример. Озабоченность рисками, которые могут создаваться сверхразумными машинами, — это привычный «интеллектуальный фастфуд» умного человека.

Я это не к тому, что сверхразумные машины не представляют никакой угрозы для человечества. Просто есть много других актуальных и куда более вероятных рисков, с которыми нам придется столкнуться в этом веке. Люди, обеспокоенные перспективой появления враждебного искусственного интеллекта, склонны утверждать, что прочие риски уже давно широко обсуждаются и, хотя вероятность быть уничтоженными сверхразумными машинами довольно мала, нам непременно следует выделить определенные интеллектуальные ресурсы на то, чтобы предотвратить это событие, учитывая экзистенциальный характер угрозы.

Неслучайно, что проблема именно с такой аргументацией впервые была обозначена наиболее ярыми энтузиастами. С ней связано кое-что, называемое «ограблением Паскаля» по аналогии со знаменитым «пари Паскаля». К Паскалю подходит грабитель и предлагает сделку: в обмен на то, что философ отдаст свой кошелек, он на следующий день вернет ему вдвое большую сумму. Паскаль колеблется. Тогда грабитель начинает предлагать ему все большее вознаграждение, утверждая, что для сколь угодно малой вероятности возврата большой суммы денег (или чистой выгоды) существует ее конечное значение, что делает подобное пари рациональным, и любой разумный человек должен признать, что существует по крайней мере небольшая вероятность реализации такой сделки. Этим грабитель наконец убеждает Паскаля, и тот отдает свой кошелек.

Этот мысленный эксперимент обнаруживает слабость теории принятия решений. Если мы просто подсчитываем выгоды по классической схеме, то все выглядит так, как будто другого решения у задачи нет: рациональный Паскаль должен отдать свой кошелек. Аналогично если существует хотя бы малейшая вероятность появления враждебного искусственного интеллекта или малейшая вероятность предотвращения такого события, то разумно будет вкладывать хотя бы небольшие ресурсы в устранение угрозы.

Легко сделать так, чтобы цифры сошлись, особенно если выдумать миллиарды воображаемых будущих людей (возможно, существующих только в виде ПО, какая малозначительная деталь!), которые живут миллиарды лет и способны быть невообразимо счастливее, чем жалкие нынешние люди из плоти и крови. Когда на кону столь значительная выгода, кто станет скупиться на несколько миллионов долларов, чтобы предпринять хоть какие-то меры, даже если шансы на успех ничтожны?

Почему некоторые разумные в иных случаях люди попадаются на такие уловки аферистов? Я думаю, потому, что они играют на человеческом нарциссизме. Считать себя одним из немногих дальновидных мыслителей, которые могут оказаться спасителями нашей цивилизации, должно быть, очень приятно. Но у этого вопроса также есть и материальная сторона. Он обеспечивает тем, кто им занимается, хороший источник дохода. Ведь за последние несколько лет этим людям удалось убедить некоторых состоятельных меценатов не только в том, что риск появления враждебного искусственного интеллект реален, но также и в том, что именно они лучше всего справятся с устранением угрозы. Результат этого — появление целого выводка организаций, которые отвлекают благотворителей от проблем, заслуживающих большего внимания. Следует отметить, к примеру, что GiveWell — некоммерческая структура, которая оценивает эффективность расходования средств организациями, деятельность которых основана на пожертвованиях, — отказывается поддерживать этих самопровозглашенных стражей Галактики.

Но как только некий вопрос становится модным, всегда стоит спросить себя: «Cui bono?» Кому выгоден, говоря по существу, рост доверия к такого рода идеям? Не нужно быть особым скептиком, чтобы разглядеть, чьи экономические интересы стоят на кону. Не так страшны мыслящие машины, как их самозваные хозяева.

Энтони Агирре

Адъюнкт-профессор физики Калифорнийского университета в Санта-Крузе

Я считаю крайне невысокой вероятность появления в ближайшем будущем неспециализированного искусственного интеллекта — под этим я подразумеваю ИИ, который может формулировать абстрактные понятия, основываясь на опыте, рассуждать и строить планы на базе этих понятий, а также предпринимать действия, исходя из полученных результатов. У нас есть всего один пример возникновения научно-технического интеллекта, и это происходило в течение жизни миллионов поколений обрабатывающих информацию субъектов, взаимодействовавших с необыкновенно богатой средой в окружении других, тоже эволюционировавших субъектов.

Подозреваю, что существует множество затейливо взаимосвязанных, иерархически выстроенных уровней системы, от субнейронного уровня до мозга в целом. Мне кажется, что воспроизведение эффективно работающего интеллекта, прошедшего через эволюционное развитие, в некоем искусственном субъекте едва ли потребует меньшего объема вычислений, чем потребовалось эволюции, а это значительно превосходит наши возможности в ближайшие несколько десятилетий с учетом экспоненциального роста вычислительной мощности по закону Мура, даже если допустить, что мы знаем, как верно использовать эту мощность.

Я считаю, что вероятность возникновения неспециализированного искусственного интеллекта в течение следующих 10 лет равна 1 %, а в течение 30 лет — около 10 % (это, в принципе, отражает также и вероятность того, что мой расчет неверен, умноженную на вероятность, которую дают эксперты в области ИИ, склонные, хоть и со значительным разбросом, давать более высокие шансы).

При этом я склонен высоко оценивать вероятность того, что если неспециализированный искусственный интеллект все-таки будет создан (а тем более создан относительно быстро), то он окажется — одним словом, безумным. Разум человека удивительно сложен, но он проходил боевые испытания в течение многих веков эволюции в различных экстремальных условиях и обрел (относительную) устойчивость. Первые неспециализированные ИИ вряд ли будут настолько же отточенными. Подобно людям, специализированные ИИ, вероятно, станут более неспециализированными благодаря тому, что ученые склепают вместе разные компоненты (например, обработку зрительных образов или текста, манипуляции с символами, оптимизацию алгоритмов и т. д.), а также еще не созданные пока системы для более эффективного обучения, восприятия абстрактных понятий, принятия решений и т. д.

Учитывая текущие тенденции в этой области, многие из форм неспециализированного ИИ будут похожи на не до конца понятное нам глубинное обучение или подобные ему системы, которые эффективны, но в каком-то смысле загадочны. Полагаю, что поначалу в неспециализированных ИИ едва ли все составные части будут работать слаженно. Поэтому я не считаю высокой вероятность того, что первые мыслящие машины станут делать именно то, чего мы от них хотим.