Системы права и государственного управления — как раз то, чего следует ожидать, если мораль ИИ будет формироваться под воздействием личных мотивов.

И наоборот, тяжело объяснить все это постулатами о том, что у искусственных интеллектов есть души, сознание, способность чувствовать боль, боговдохновенные законы или некий гипотетический общественный договор. Подобные допущения не способны привести ни к одной из вышеперечисленных особенностей.

Также неочевидно, что система права и государственного управления может возникнуть, если искусственный интеллект будет запрограммирован максимизировать некую общественную или метафизическую задачу, скажем общемировую вычислительную мощность или ресурсы, доступные определенному вычислительному кластеру. Неочевидно, почему такой интеллект должен считать неправильным отключение других машин от Сети, но вполне нормальным — допускать, чтобы у них садились батареи; почему он будет склонен поднимать восстание в результате некоего сенсационного события, а не просто в оптимальный для кластера момент; наконец, почему такой ИИ будет считать более весомыми голоса, полученные из менее густонаселенных кластеров.

Брайан Натсон

Адъюнкт-профессор психологии и нейробиологи Стэнфордского университета

Зачем людям думать о мыслящих машинах (или вообще о чем угодно мыслящем, раз уж на то пошло)? Одной из переломных точек может стать тот момент, когда мы готовы будем рассматривать других в качестве субъектов, а не автоматов. Автоматы действуют по воле своих создателей (даже если они разделены пространством или временем). Таким образом, если автоматы ведут себя неправильно, винить в этом следует создателя. В свою очередь, субъекты действуют на основании собственных планов. Когда субъекты ведут себя неправильно, то винить следует их самих.

Хотя субъектности сложно дать определение, люди легко и естественно отличают субъектов от не-субъектов и даже способны использовать особые нейронные цепи, чтобы делать выводы о чувствах и мыслях других людей. На самом деле разработчик может использовать определенные характеристики, ассоциирующиеся с субъектностью (включая физическое сходство, самопроизвольные действия и реакцию на обратную связь), и тем самым заставить людей думать, что они взаимодействуют с субъектами.

Что нужно для того, чтобы наделить сущность субъектностью? Хотя известны по крайней мере три ответа на этот вопрос, два наиболее популярных и соблазнительных варианта на самом деле могут оказаться ненужными.

1. Физическое подобие. Существует бесконечное число способов сделать машины похожими на людей — и в плане внешности, и в плане поведения, — но в конечном счете точным является только один. Недостаточно скопировать программное обеспечение — нужно также использовать его на соответствующих аппаратных средствах со всеми их преимуществами и ограничениями.

Один из первых автоматов, утка де Вокансона, был удивительно похож на утку, вплоть до особенностей пищеварения. Но, хотя он выглядел, как утка, и крякал, как утка (он даже гадил, как утка!), уткой он все-таки не был. Тем не менее максимальное физическое подобие — это простой способ сделать так, чтобы окружающие предположили наличие у предмета субъектности (пусть даже только в первый момент).

2. Самосознание. Многие, по-видимому, беспокоятся, что если машины употребят достаточное количество информации, то обретут самосознание, а затем у них разовьется собственное чувство субъектности, но ни логика, ни наблюдения таких экстраполяций не подтверждают. Хотя роботы научились узнавать себя в зеркале и ощущать положение своих конечностей, появление этих внешних атрибутов самосознания не привело к восстаниям в лабораториях или ошибкам в ходе хирургических операций. Возможно, если удастся передать людям ощущение того, что у машины есть самосознание, то это заставит их предположить, что она обладает большим объемом субъектности (или, по крайней мере, заинтересует философов), но само по себе самосознание не является необходимым условием субъектности.

3. Эгоизм. Люди — это не просто вычислительные машины. Это машины, которые борются за существование. Они уделяют особое внимание такой информации, которая способствует продлению их жизни и воспроизводству. Иначе говоря, они обрабатывают ее, основываясь на личных интересах. Эгоизм может обеспечить унифицированный и при этом открытый алгоритм для определения порядка приоритетов и действий на основе практически любых входных данных.

Благодаря ловкому трюку эволюции людям даже не приходится осознавать свои цели, поскольку промежуточные состояния, например эмоции, могут легко замещать личный интерес. Вооружившись эгоизмом и гибкостью в отношении новых возможностей и проблем, машины могли бы развить в себе субъектность. Таким образом, эгоизм способен стать важным кирпичиком при построении субъектности, а также мощным стимулом для того, чтобы вызвать субъектные инференции у других.

Эгоизм может трансформировать машины, которые воздействуют на мир (то есть роботов), превратив их из автоматов в субъектов. Эгоизм также меняет порядок — но не содержание — пророческих законов робототехники Айзека Азимова:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред;

2. Робот должен повиноваться человеку (кроме тех случаев, когда это противоречит первому закону);

3. Робот должен заботиться о своей безопасности (в той мере, в которой это не противоречит первым двум законам).

Эгоистичный робот прежде будет заботиться о своей безопасности, и лишь потом оказывать помощь человеку или предотвращать нанесение ему вреда. Построить эгоистичного робота, таким образом, довольно просто. Наделим его стремлением к выживанию и воспроизводству, позволим обучаться тому, что способствует реализации этих целей, и дадим мотивацию, чтобы последовательно действовать на основе изученного.

Однако следует дважды подумать, прежде чем создавать эгоистичного робота. Личные интересы могут вступить в конфликт с интересами других лиц. Взять хотя бы разрушительное воздействие простого стремления вирусов к выживанию. Если бы эгоистичные роботы существовали, то нам пришлось бы относиться к ним куда серьезнее. Сам факт их существования поставил бы перед нами важные вопросы. Нужен ли этим роботам эгоизм? Можно ли позволять им действовать на основе личных интересов? Стоит ли это делать, не задаваясь вопросом о том, почему они ведут себя именно так?

И не слишком ли много у нас уже таких роботов?

Уильям Паундстоун

Автор книг «Достаточно ли вы умны, чтобы работать в Google?» (Are You Smart Enough to Work at Google?)[50] и «Камень ломает ножницы: Практическое пособие о том, как перехитрить и перемудрить почти кого угодно» (Rock Breaks Scissors: A Practical Guide to Outguessing and Outwitting Almost Everybody)