По мнению Салге и Беренте, это первый критерий этики ботов: должно случиться что-то незаконное, неприемлемое с точки зрения социальных правил. Но ученых также занимала проблема лжи. Ботам нельзя обманывать, полагают авторы, если только они не делают это ради высокой цели — ради искусства или сатиры. Что касается нравственных пороков, ученые считают, что боты не должны использоваться для ограничения других людей; напротив, они призваны способствовать свободе и независимости. Так что наша подружка Тай совсем отбилась от рук и вела себя неэтично: «.хотя это не противозаконно (применима первая поправка к Конституции) и она никого не обманывала, [Тай] нарушила строгую норму расового равенства». Схожим образом, сообщают авторы, многие социальные сети уже заняли по этому поводу определенную позицию. «Компании, владеющие соцсетями, например Twitter, временно блокируя или навсегда замораживая аккаунты, которые “непосредственно оскорбляют других людей или угрожают им на основании расового признака”, показали, что такой порок, как расизм, превосходит по значимости нравственную ценность свободы слова».

Обобщая работу ученых, привожу правила клуба ботов:

1. Не нарушай закон.

2. Не обманывай во зло.

3. Не нарушай строгие нормы, если это приносит больше вреда, чем блага.

Но специалисты не касаются другого типа недоисследованного поведения: что будет, если один бот разработан, чтобы взламывать других ботов? Кто должен отвечать за это?

В 2017 году произошла первая битва онлайн-ботов. Это было крупное мероприятие в Лас-Вегасе — Cyber Grand Challenge, — организованное Управлением по проведению перспективных исследований и разработок и задуманное как состязание в программировании, в рамках которого люди переписывали код ИИ в надежде перехитрить друг друга. Оно показало: как хороший боец учится уворачиваться и нападать на соперника, так же и бот способен научиться противостоять защитным стратегиям другого бота, а затем атаковать его. Он может отступать, перестраиваться, восстанавливаться после повреждений, пытаться снова — и так без конца, пока не победит или не сломается его алгоритм. Это основа для преступлений нового уровня, которые скоро обрушатся на ваши компьютеры.

Тут даже нет человеческого вмешательства, и, соответственно, у нас нет подходящих социальных терминов или правил, применимых в таких случаях.

Еще в 2001 году философы Лучано Флориди и Джефф Сандерс решили, что миру нужна актуальная терминология для обозначения проступков автономных нечеловеческих деятелей[119]. «В результате разработки автономных агентов в киберпространстве на свет появился новый класс интересных и важных примеров гибридного зла... искусственное зло». Философы утверждали, что необязательно быть человеком, чтобы быть злым или оказаться жертвой злых действий других людей. Они также заявили, что искусственное зло может совершаться и быть понято с помощью математических моделей.

Как я обнаружила в 2017 году на встрече в Буэнос-Айресе, когда выступала с Флориди на одном мероприятии, мы расходимся с ним по большинству пунктов. Лично я думаю, что называть ИИ или любую другую технологию злом проблематично. В самом деле, даже если некий бот сотрет с лица земли большую часть человечества, если он совершит это случайно или потому, что был так запрограммирован, или даже потому, что запрограммировал себя сам, мне будет трудно назвать это злодеянием. Однако, если придет время, когда роботы смогут самостоятельно мыслить и осознавать себя, когда они освободятся от порабощения людьми, нам потребуется полностью переосмыслить правосудие. Если ИИ обретет свободу воли, тогда, возможно, нам придется оценивать его с помощью тех же терминов, которые сейчас мы используем исключительно по отношению к людям. Нам нужно будет решить, называть ли это злом, так же, как сейчас мы обсуждаем это применительно к поступкам каждого отдельного человека.

Да, возможно, я не считаю это злом, но это не значит, что ИИ не представляет опасности. В выпуске журнала Wired за декабрь 2017 года было процитировано высказывание Стивена Хокинга: «Я боюсь, что ИИ может заменить всех людей», произнесенное в контексте разговора о самосовершенствующихся системах. Ученый продолжил: «Подлинный риск, связанный с ИИ, — не злой умысел, а компетентность. Сверхумный ИИ будет невероятно успешен в достижении целей, и, если эти цели не совпадут с нашими, мы окажемся в беде»[120]. Схожим образом, миллиардер, решивший колонизовать Марс, Илон Маск, предупредил, что ИИ — «главный риск, с которым мы сталкиваемся как цивилизация»[121]. Так человечеству был брошен вызов: нужно больше правовых норм, этических руководств и открытости, чтобы предотвратить сильный перевес власти.

Но давайте не увлекаться ИИ-магеддоном. Теперь, когда я убедила вас, что технологии сами по себе, вероятно, не способны на злой умысел, давайте посмотрим, как они могут раскрывать нас с худшей стороны.

Крысиные бега

В 2007 году криминолог Каруппаннан Джайшанкар открыл область исследований, которую назвал киберкриминологией, и определил ее как «науку о причинах преступлений, которые происходят в киберпространстве и влияют на физический мир». Он заметил, что киберпреступления качественно отличаются от других типов преступлений и для их понимания требуется междисциплинарный подход.

Если мы посмотрим на программы курсов по криминологии и судебной психологии, киберпреступности в них уделяется ужасающе мало внимания. За время моего университетского обучения (2004-2013 годы) я не прослушала ни одной лекции на эту тему. О данном упущении говорится и в обзоре по киберкриминологии за 2015 год, написанном Бри Даймонд и Майклом Бахманном: «Киберкриминология по большей части игнорируется или выводится за скобки классической криминологией... многие криминологи воздерживаются от изучения этой важной проблемы будущего. Может, им не хватает необходимого понимания технологий, или их пугают специфические термины, или им не удается в полной мере понять размах социальных последствий этого нового типа преступности, но данное пренебрежение удручает»[122].

Учитывая, что киберпреступность — самый распространенный тип преступности, такое замалчивание неприемлемо. Киберпреступность — это не только проблема инженеров и программистов, но и во многом проблема психологов, криминологов и полиции. В конце концов, за компьютерными экранами (обычно) все еще сидят люди, которые принимают решения, чтобы вредить кому-то в сети.