Восприятие и познание уже не будут выполняться в голове индивида. Как сейчас мы обращаемся к Google и интернету как к средствам протезирования памяти, так мы станем использовать системы искусственного интеллекта, связанные с миллионами машин и сенсоров, для протезирования восприятия.

Но стоит ли им верить? Обман уже не будет исключительной прерогативой людей. Правительства станут влиять на нашу картину мира посредством инструментов, которые мы используем для усовершенствования восприятия, точно так же как Китай осуществляет цензуру результатов поиска, а рекламодатели на Западе предлагают вам продукты сообразно вашим прежним запросам и посещениям страниц. Как еще можно будет содержать такую систему?

Даниэль Хиллис

Изобретатель, специалист по теории вычислительных систем, сопредседатель и руководитель технического отдела Applied Minds, Inc; автор книги «Узор на камне» (The Pattern on the Stone)

Мыслящие машины будут мыслить самостоятельно. Расти, расширяться — это в природе как разума, так и самого знания.

Подобно нам, мыслящие машины, которые мы создадим, будут амбициозными, жаждущими силы и мощи — как физической, так и вычислительной, но лучше нас смогут разглядеть то, что скрыто в тени эволюции. Наши мыслящие машины будут умнее, чем мы, а машины, которые разработают они, — еще умнее. Но что это означает? Как все до сих пор работало? Мы уже давно создаем амбициозные полуавтономные конструкции: правительства, корпорации, неправительственные организации. Изначально предполагалось, что они послужат нам и общему благу, но мы не настолько хорошие инженеры, и они выработали собственные цели. В долгосрочной перспективе цели организации никогда точно не совпадают с намерениями ее создателей.

Ни один разумный руководитель не считает, что его корпорация рационально оптимизирует прибыль своих акционеров. Ни одно государство не работает исключительно в интересах собственных граждан. Демократические режимы служат корпорациям намного эффективнее, чем отдельным людям. И все же наши организации продолжают приносить нам пользу — они просто делают это неидеально. Без них мы бы не смогли прокормить себя, по крайней мере, не все 7 миллиардов. Как не смогли бы построить компьютер или провести всемирные дебаты о мыслящих машинах. Мы стали зависеть от мощи созданных нами организаций, хотя они и разрослись настолько, что мы не можем ни полностью их понять, ни полностью контролировать. То же самое будет с мыслящими машинами, только в большем объеме. Наши экологические, социальные и экономические проблемы настолько серьезны, что могут привести к вымиранию. Наши мыслящие машины — больше чем метафоры. Вопрос заключается не в том, станут ли они достаточно сильны, чтобы суметь навредить нам (да, станут), или будут ли они всегда действовать только в наших интересах (нет, не будут), а в том, помогут ли они нам в долгосрочной перспективе найти собственный путь, по которому мы выйдем из континуума «панацея/апокалипсис».

Я говорю об умных машинах, которые создадут еще более умные машины, как о наиболее важной инженерной задаче всех времен. Подобно нашим биологическим детям, наши мыслящие машины переживут нас. Им также нужно будет стать лучше нас, для чего нам придется заложить в них ценности, которые делают нас людьми. Это сложная инженерная задача, и нам надо решить ее правильно.

Пол Саффо

Специалист по технологическому прогнозированию; консультирующий адъюнкт-профессор Стэнфордского университета

Вероятность того, что мир будут населять сильные ИИ, пугает меня. Вероятность того, что в мире не будет сильного ИИ, меня тоже пугает. Десятилетия технологических инноваций создали настолько многообразный и динамичный мир, что человеку становится все сложнее его понимать, а еще сложнее — управлять им. Если мы хотим избежать цивилизационной катастрофы, то нам понадобится нечто большее, чем новые умные инструменты, — нам понадобятся союзники и товарищи.

Так называемые слабые системы ИИ известны уже несколько десятилетий. Одновременно вездесущие и невидимые, слабые ИИ создают предметы искусства, управляют промышленными системами, пилотируют коммерческие авиарейсы, контролируют движение в час пик, говорят, что нам смотреть и покупать, решают, получим ли мы приглашение на собеседование, и играют роль свахи для одиноких сердец. Добавьте сюда неуклонный прогресс технологий в области обработки данных, сенсоров и алгоритмов, и вам станет ясно, что сегодняшние слабые ИИ уже стоят на пути к миру сильного ИИ. Задолго до того, как появятся сверхразумы, эволюционирующим ИИ придется выполнять задачи, которые когда-то казались немыслимыми: от стрельбы из различных видов оружия до формирования политики.

Между тем сегодняшние формы искусственного интеллекта способны многое нам рассказать о будущем взаимодействии человека и машины. Слабые ИИ могут не обладать даже интеллектом кузнечика, но это не помешает нам вести с ними задушевные беседы и расспрашивать их о делах. Предполагать наличие сознания при малейших признаках жизни — в нашей природе. Как когда-то наши предки населяли свой мир эльфами, троллями и ангелами, так же и мы охотно ищем себе спутников в киберпространстве. Это еще один стимул, приближающий создание сильного ИИ, — нам хочется с кем-то поговорить. Результатом вполне может стать то, что первый не-человеческий разум, с которым мы встретимся, будет принадлежать не «зеленым человечкам» и не мудрым дельфинам, а существам, изобретенным нами.

Мы, конечно, будем давать искусственным интеллектам чувства и права, — а в какой-то момент они этого потребуют. Во времена Декарта животные считались просто машинами: скулящая собака ничем не отличалась от шестеренки, которая визжит, потому что ее надо смазать. В прошлом году аргентинский суд наделил правами орангутанов, назвав их «не-человеческими личностями». Задолго до появления сильного ИИ люди начнут относиться с такой же эмпатией к цифровым сущностям и обеспечат их правовой статус.

Быстрое развитие искусственного интеллекта также меняет наше понимание того, что такое разум. Наши взаимодействия со слабыми ИИ приведут к тому, что мы поймем: разум — это континуум, а не некий рубеж. Несколько лет назад японские исследователи продемонстрировали, что слизистая плесень может пройти по лабиринту, чтобы добраться до вкусного кусочка пищи. В прошлом году ученый из Иллинойса показал, что при подходящих условиях капля масла способна найти выход из лабиринта, чтобы добраться до кислотосодержащего геля, причем ведет себя практически как живая. Когда искусственный интеллект еще глубже проникнет в нашу жизнь, мы обнаружим, что скромные цифровые сущности, как и большая часть природного мира, несут в себе искру сознания. А от этого — лишь один маленький шажок до предположения, что деревья или камни (или ИИ) мыслят.

В конечном счете самый большой вопрос состоит не в том, появятся ли когда-нибудь искусственные сверхразумы. Вопрос скорее в том, каким будет место человека в мире, где численность автономных машин растет в геометрической прогрессии. Ботов в Сети уже больше, чем пользователей-людей. То же самое скоро будет и в материальном мире. Как предостерег нас однажды лорд Дансени: «Если мы слишком сильно изменимся, то можем и не найти своего места во Вселенной».