К сожалению, одомашнивание искусственного интеллекта будет намного сложнее, чем просто создание более быстрых машин с большим объемом памяти и более мощными алгоритмами, способными обрабатывать больше данных. Чтобы разобраться в причинах этого, рассмотрим простое взаимодействие с обычной интеллектуальной системой — с планировщиком маршрутов. Представьте, что воспользовались своим любимым навигатором, чтобы найти дорогу в незнакомом месте, и получили указание повернуть налево на следующем перекрестке, а вам кажется, что это неверно. Если бы навигацией занимался ваш друг, сидящий на пассажирском сиденье с картой, вы бы спросили: «Ты уверен?» — или, может быть, просто: «Точно налево?» — с интонацией, указывающей на недоверие.

Однако у вас нет способов переспросить навигатор. Эти системы, как и искусственный интеллект вообще, не умеют давать толковых объяснений. Они не могут объяснять свои намерения так, чтобы мы их поняли. Они неспособны поставить себя на наше место, чтобы понять, какой ответ нас бы удовлетворил. Они не выразят уверенность в выбранном маршруте иным способом, кроме как с помощью вероятностной оценки производной по времени для альтернативных маршрутов, тогда как мы хотим, чтобы они подумали над достоверностью выдвигаемых ими предположений. По этой причине и по ряду других из искусственного интеллекта не получится хорошего компаньона в таких делах, как планирование маршрута, и в большинстве других задач. Это инструмент, мощный инструмент, который часто бывает весьма полезен. Но это не партнер.

Много чего должно произойти, чтобы искусственный интеллект превратился из инструмента в партнера. Возможная отправная точка — сделать его заслуживающим доверия. Представление о доверии автоматике сейчас довольно популярно, но для наших целей оно слишком узко. Доверие автоматике означает, что оператор может либо воспринять выходные данные как истину, либо подумать, что программное обеспечение дало сбой, либо решить, что оно было взломано. Воюющие стороны опасаются полагаться на интеллектуальные системы, уязвимые для хакеров. Они опасаются, что им придется постоянно проверять, какие части системы могли подвергнуться несанкционированному доступу и какое воздействие взлом оказал на прочие части системы.

Точность и надежность — важные качества для партнеров, но доверие — это нечто большее. Мы доверяем людям, если считаем, что они благонамеренны и желают нам успеха. Мы им доверяем, когда понимаем, как они мыслят, — это означает, что у нас есть точки соприкосновения и мы избежим недоразумений. Мы им доверяем, если у них хватает честности признавать свои ошибки и свою вину. Мы им доверяем, если они разделяют наши ценности, — я говорю не о застывшем перечне приоритетов, а о динамическом тестировании друг друга, в ходе которого мы выясняем, придем ли к компромиссу в случае конфликта. Чтобы искусственный интеллект стал партнером, нужно, чтобы ему доверяли. Он должен сам решать, как добиться этого от партнера-человека. Если системы искусственного интеллекта двинутся по пути одомашнивания, борьбы за власть и судного дня можно будет избежать.

Есть, однако, еще одна вещь, о которой следует подумать. Поскольку в процессе общения мы все больше зависим от смартфонов и других устройств, некоторых беспокоит, что мы теряем навыки социальной коммуникации. Люди, проводящие весь день в Twitter, общаясь с разнообразной аудиторией, постепенно, год за годом утрачивают социальный и эмоциональный интеллект. Они могут начать рассматривать других как инструменты и с ними обращаться соответственно — как со средствами для достижения определенных целей. Нетрудно представить себе будущее, в котором люди забыли, что это такое, когда тебе доверяют, забыли, зачем вообще нужна близость. Если системы искусственного интеллекта станут заслуживать доверия, а мы — перестанем, то власть мыслящих машин будет вполне хорошим вариантом.

Гэри Маркус

Профессор психологии Нью-Йоркского университета; автор книги «Guitar Zero: Новый музыкант и наука учиться» (Guitar Zero: The New Musician and the Science of Learning)

Что я думаю о мыслящих машинах? Что они появятся не скоро. Я не вижу для этого каких-то принципиальных препятствий; в углероде нет никакой магии, и кремний ничем не хуже. Но в последнее время шумиха вокруг искусственного интеллекта совсем уж не соответствует реальному положению вещей. От умения опознавать изображенную во всех деталях кошку после изучения 10 миллионов видеокадров из интернета очень далеко до понимания того, что такое кошка. Всякий, кто думает, что мы подобрали ключ к искусственному интеллекту, просто не знает ограничений современной технологии.

Несомненно, наблюдается экспоненциальный рост в узкотехнических областях применения искусственного интеллекта, таких как игра в шахматы, расчет маршрутов или грубый перевод текстов, но прогресс в области создания сильного искусственного интеллекта за последние пять десятилетий едва дотягивает до линейного роста. Например, разные «умные» личные помощники, которых можно установить на смартфон, очень недалеко ушли от «Элизы» — одной из первых примитивных программ для обработки естественного языка, появившейся в середине 1960-х годов. У нас до сих пор нет машины, которая могла бы, например, прочесть все, что есть в Сети про войну, и грамотно спланировать военную кампанию, как нет и открытой системы ИИ, способной сообразить, как написать итоговое сочинение по литературе на первом курсе института или сдать экзамен по естествознанию в восьмом классе средней школы.

Почему достигнуто так мало, несмотря на впечатляющий рост объемов памяти и процессорной мощности? Когда Марвин Минский и Джеральд Сассман в 1966 году пытались создать зрительный анализатор, могли ли они предвидеть гигабайты, которые помещаются в кармане? Почему достижения такого рода не привели нас прямой дорогой к машинам, обладающим гибкостью человеческого разума? Рассмотрим три варианта.

1. Мы подберем ключ к ИИ (и это в итоге приведет к созданию мыслящих машин), как только компьютеры станут больше и быстрее.

2. Мы подберем ключ к ИИ, когда наши алгоритмы обучения станут лучше или когда у нас будут еще бо́льшие данные.

3. Мы подберем ключ к ИИ, когда наконец поймем, что же такого сделала эволюция при построении человеческого мозга.

Рэй Курцвейл и многие другие, похоже, делают ставку на первый вариант — достаточную процессорную мощность. Но сколько удвоений процессорной мощности потребуется? Все удвоения, произошедшие до сегодняшнего дня, приблизили нас к подлинному интеллекту? Или только к узкоспециализированным приложениям, которые умеют показывать расписание сеансов в кино?

Во втором варианте большие данные и усовершенствованные алгоритмы обучения пока что обеспечили нам только такие инновации, как машинный перевод, который работает быстро, но посредственно, компонуя ранее переведенные людьми фрагменты без какого-либо подобия мышления. Такие программы не могут, например, ответить даже на самые простые вопросы по тексту, который только что перевели. Их скорее надо воспринимать как ученых идиотов, чем выдающихся мыслителей.

Я бы поставил на третий вариант. Эволюция, похоже, снабдила нас мощным набором априорных форм (или того, что Ноам Хомский или Стивен Пинкер могли бы назвать врожденными ограничениями), которые позволяют нам постигать мир, основываясь на ограниченных данных. Бо́льшие усилия и бо́льшие данные в действительности не приближают нас к пониманию этих априорных форм, так что, хотя мы все лучше и лучше справляемся с узкотехническими задачами типа движения по хорошо картографированной дороге, мы все так же далеки от создания машин, обладающих здравым смыслом и способных понимать естественный язык. Или, если сформулировать так, чтобы это было ближе к поставленному Edge вопросу, мы все так же далеки от создания машин, которые действительно могут мыслить.