Эта головоломка становится тем сложнее, чем ближе мы будем к появлению ИИ общего назначения (AGI). Как описано в главе 3, AGI не будет ограничен обучением и выполнением конкретных задач, как существующие ИИ, он по определению будет обучаться и выполнять широкий спектр задач, подобно человеку. Разработка таких ИИ потребует огромных вычислительных мощностей, и это, вероятно, приведет к тому, что их созданием будут заниматься лишь немногие мощные и хорошо финансируемые организации. Как и нынешний ИИ, AGI будет легко тиражируемым, но, учитывая его возможности, доступ к AGI будет предоставляться лишь небольшому числу организаций. Для остальных доступ будет ограничен (это реализуемо, если предоставлять AGI в качестве услуги, а не распространять его как программное обеспечение). Но тогда возникнут неизбежные вопросы: кто контролирует AGI и доступ к нему? Возможна ли демократия в мире с несколькими уникальными «гениальными» машинами, которыми управляет лишь небольшое число организаций (коммерческих, правительственных или некоммерческих)? Как вообще в таких условиях возможно партнерство с ИИ? Появление AGI, если оно произойдет, станет важным интеллектуальным, научным и стратегическим событием. Но ИИ и без этого знаменует революцию для человечества.

ИИ отличают от предшествующих технологий динамичность и способность к эмерджентным – неожиданным – действиям и решениям. Нерегулируемые и неконтролируемые, ИИ могут делать не совсем то и не совсем так, как мы от них ожидаем, без нашей сознательной команды на то. Мы не всегда будем вольны сами принять решение о типе взаимодействия с ИИ – ограничение, партнерство или отступление, – в некоторых случаях выбор будет навязан обстоятельствами. Внутри человечества идет постоянная конкуренция, и преимущества автоматизации процессов, изучения огромных массивов данных и реорганизации физического и социального мира при помощи ИИ могут достаться тем, кому первыми удастся ими воспользоваться. Такая конкуренция может вынудить нас внедрять ИИ, не имея времени на оценку рисков – или пренебрегая рисками.

Все это выдвигает на первый план вопросы этики. Каждое отдельное решение о сдерживании ИИ, партнерстве с ним или отступлении перед ним может иметь или не иметь критических последствий, но совокупный эффект этих решений будет расти и определять ход истории. Если человечеству не все равно, каким окажется его будущее, оно должно договориться об общих подходах к каждому отдельному решению, чтобы каждая страна могла сдерживать ИИ, сотрудничать с ним или давать ему свободу действий там, где это необходимо. Добиться коллективных действий будет сложно, а иногда невозможно, но, если пустить все на самотек и не пытаться выработать общую этику, нестабильность, скорее всего, будет расти.

Те, кто разрабатывает ИИ, обучает его и сотрудничает с ним, смогут добиться результатов такого масштаба и сложности, которые до сих пор были недоступны человечеству, – новых научных прорывов, новой экономической эффективности, новых форм безопасности и, возможно, общественного контроля. В результате обычные люди могут почувствовать, что за ними наблюдают, что их изучают и что на них постоянно и повсеместно воздействует нечто совершенно непонятное, – во многих странах такое раньше считалось недопустимым. Разработчики и интеграторы ИИ должны быть готовы к решению этих проблем. Они должны быть в состоянии объяснить всем остальным, что именно делает ИИ и почему, а также что он «знает» и как он это узнаёт.

Динамичность и эмерджентность ИИ порождают два вида неопределенности. Во-первых, ИИ может действовать так, как мы его инструктировали, но при этом приводить к результатам, которых мы не предвидели. ИИ динамичен, он может завести человечество не туда, куда мы ожидали. Подобно тому, как государственные деятели в 1914 г. не смогли предугадать, что технологический прогресс и логика военной мобилизации заставят всю Европу начать войну, неподготовленное внедрение ИИ тоже может иметь серьезные негативные последствия – как опасное для жизни решение автомобиля с автопилотом или серьезный военный конфликт. Во-вторых, ИИ может быть непредсказуемым, его действия могут стать полной неожиданностью. Рассмотрим ИИ AlphaZero, который, решая задачу «выиграть в шахматы», разработал такой стиль игры, до которого люди не смогли додуматься за всю тысячелетнюю историю игры. Люди могут очень тщательно ставить задачи ИИ, но по мере того, как он будет получать от нас все больше свободы, он будет выбирать все более неожиданные или тревожащие пути достижения результатов.

Вот почему задачи и степени свободы ИИ должны определяться с осторожностью, особенно в тех областях, где его решения могут быть смертельно опасны. ИИ не должен работать автоматически, ему не следует позволять предпринимать необратимые действия без наблюдения, мониторинга или прямого контроля со стороны человека. Созданный людьми, ИИ должен контролироваться людьми. Одна из сегодняшних проблем ИИ заключается в том, что, обладая навыками и ресурсами для его создания, мы пока не охватили всю философскую перспективу для понимания последствий. Разработчиков ИИ, как правило, волнуют создаваемые ими приложения и решаемые задачи – они не задумываются о том, могут ли их творения привести к революции исторического масштаба и как они способны повлиять на различные группы населения. Эпохе ИИ нужны новые Декарт и Кант, чтобы объяснить происходящее и предсказать его последствия для нас и человеческой идентичности.

Ограничивать ИИ придется более жестко, чем мы ограничиваем сами себя. Обсуждения и переговоры с участием правительств, университетов и корпоративных инноваторов должны быть направлены на ограничение практических действий ИИ – аналогично тому, как сегодня регулируются действия людей и организаций. ИИ имеет общие признаки с некоторыми продуктами, услугами, технологиями и организациями, которые уже подвергаются регулированию, но по важнейшим параметрам он от них отличается, и поэтому для него нужна отдельная, полностью определенная концептуальная и правовая база. Она должна учитывать, например, проблему динамичности и эмерджентности ИИ, из-за которых он может непредсказуемо меняться. Управление людьми отражает человеческую этику – подобно этому, нам нужны принципы и этика для ИИ.

Существующие принципы часто будут неприменимы. Если в Средние века виновность человека могло определить испытание перед Богом, то в эпоху Просвещения подсудимым стали выносить приговоры в соответствии с доводами разума, определяя виновность и назначая наказание в соответствии с такими понятиями, как нанесенный вред и злой умысел. Но у ИИ нет человеческого разума, человеческих мотиваций, намерений и способности к саморефлексии. Кроме того, внедрение ИИ усложняет существующие принципы правосудия даже в применении к человеку. Если автономная система причинила вред, руководствуясь собственными представлениями и решениями, должен ли нести ответственность ее создатель? А если ИИ применяется для контроля, предотвращения или расследования правонарушений – должен ли он обосновать свои выводы, чтобы они имели силу для людей? Эти загадки необходимо разрешить.

Очень важно понять, в каких контекстах и на каком этапе эволюции этой технологии на нее должны распространяться ограничения, согласованные на международном уровне, – и это должно быть одной из главных тем обсуждений. Если сделать это слишком рано, развитие технологии будет заторможено или уйдет в тень, а если сделать это слишком поздно, возможны пагубные последствия – особенно в военной области. Проблема усугубляется сложностью разработки эффективных режимов контроля для технологии, которую невозможно отследить и идентифицировать и которая при этом легко распространяется. Вопрос о том, кто должен решать эти вопросы – только лишь правительства или правительства в сотрудничестве с инженерами, специалистами по этике, разработчиками ИИ и представителями других областей, – требует рассмотрения, но надолго откладывать его решение нельзя.