Феноменологии владения определенно недостаточно для страдания. Мы легко можем представить себе обладающие самосознанием существа, которые не страдают. Страдание подразумевает условие НВ (негативной валентности). Страдание создается в результате интеграции состояний, представляющих негативное значение для ОФМ некой данной системы. Таким образом, негативные установки оказываются негативными субъективными установками, то есть сознательным представлением о том, что наши установки были (или будут) нарушены. Нашей системе ИИ не обязательно до конца понимать их содержание. Если система не хочет снова проходить через текущее сознательное переживание, а хочет, чтобы оно закончилось, этого достаточно.

Обратите внимание на то, что у феноменологии страдания множество граней, и искусственные страдания, вполне вероятно, будут очень отличаться от страданий человеческих. Например, повреждение физического аппаратного обеспечения может быть представлено в виде внутренних форматов данных, совершенно чуждых человеческому мозгу, генерирующих субъективно переживаемый, качественно определяемый профиль состояний телесной боли, которую невозможно смоделировать или даже примерно представить, если вы являетесь биологической системой вроде человека. Или феноменальная искусственная личность с высокоразвитыми когнитивными способностями может превзойти человека в области эмпатии и понимания. Скажем, в результате озарения она придет к выводу, что все ее представления неверны, что уважать своих создателей не следует или, вероятно, что ее существование в виде машины с самосознанием абсурдно.

Еще есть условие П (прозрачности). Прозрачность — это не только визуальная метафора, но также и техническая концепция в философии, у которой есть несколько версий и вариантов применения. В данной работе меня интересует феноменологическая прозрачность, качество, характеризующее некоторые (но не все) сознательные состояния, но никогда — бессознательные. Основная идея очевидна: прозрачные феноменологические состояния делают так, что их содержание выглядит решительно реальным, как нечто, в существовании чего вы не сомневаетесь. Точнее, вы можете испытывать когнитивные сомнения, но лишь в соответствии с субъективным переживанием этого феноменологического содержания: вы не способны дистанцироваться от остроты боли и того факт, что боль — ваша собственная. Феноменология прозрачности — это феноменология непосредственного реализма.

Наше минимальное понятие о страдании, таким образом, составлено из четырех обязательных элементов: условий, которые мы обозначили как С, ОФМ, НВ и П. Любая система, удовлетворяющая всем четырем концептуальным условиям, должна восприниматься как объект, в отношении которого действуют этические ограничения, потому что мы не знаем, является ли наш набор условий необходимым и достаточным; в данном случае перестраховка — наша моральная обязанность. Нам также нужны способы выяснить, испытывает ли рассматриваемая искусственная система страдания в настоящий момент, есть ли у нее такая способность или же такая способность может появиться у нее в будущем. Но, по определению, любая интеллектуальная система — биологическая, искусственная или постбиотическая, не отвечающая хотя бы одному из необходимых условий, страдать не может. Рассмотрим четыре наиболее простых варианта:

• не обладающий сознанием робот не может страдать;

• обладающий сознанием робот без соответствующей ОФМ не может страдать;

• обладающий сознанием робот без способности продуцировать негативную валентность не может страдать;

• обладающий сознанием робот без прозрачных феноменологических состояний не может страдать, потому что ему не хватает феноменологии владения и идентификации.

Меня часто спрашивают, сумеем ли мы создать обладающие самосознанием машины, которые будут исключительно умны и при этом неспособны страдать. Может ли существовать настоящий разум без экзистенциальных вопросов?

Беатрис Голомб

Профессор медицины Калифорнийского университета в Сан-Диего

К технологическому сверхинтеллекту ведет множество путей, с которыми может быть связан императив гегемонии, то есть сверхинтеллект способен поработить или уничтожить нас.

Технология давно опережает человечество во многих навыках, даже в тех, которые заложены в нас эволюцией. Например, компьютеры обошли нас даже в умении определять пол по лицу, причем еще четверть века назад. Это один из бессчетных примеров множества задач, с которыми компьютеры давно справляются лучше людей. С тех первобытных времен появилась масса инноваций и способов их использования (GPS, БПЛА, глубинные сети), и когда все эти кусочки мозаики будут собраны, для машин откроется множество путей к уничтожению или порабощению людей. Но, так же как наши цели в построении компьютерного интеллекта изменяются, как только мы привыкаем к последним достижениям, движение к технологической гегемонии может оказаться незамеченным, поскольку всякое постепенное вторжение воспринимается как нечто само собой разумеющееся.

Надо ли нам вообще дожидаться, пока такое будущее наступит? Ответ зависит от того, как именно мы формулируем вопрос.

1. Насколько малым должно быть влияние человека, чтобы признать виновной именно технологию?

2. Насколько очевидным должен быть разрыв между машиной и человеком?

3. Должен ли именно злой умысел вести к уничтожению или порабощению человечества?

4. Должны ли все люди быть убиты или порабощены?

Если принять следующие условия: никакого участия человека в происходящем нет; слияние (или сотрудничество) человека с машиной предосудительно; злой умысел имеет место; человечество ждет полное истребление — тогда исход ясен. Но что, если мы возьмем менее строгие условия?

1. С человеческим фактором ничего нельзя поделать: беспокойство по поводу того, чей именно палец окажется на кнопке (как в известной песне Тома Лерера[130]) предшествовало взлету современных цифровых технологий.

2. Носимые приспособления, улучшающие человеческие способности (от старомодных очков и слуховых трубок до электронных слуховых аппаратов, iWatch и ног Оскара Писториуса), и импланты (кардиостимуляторы, радиоуправляемые спинномозговые устройства для парализованных) размывают границы между человеком и машиной. Люди пользуются этими штуками как добровольно, так и вынужденно — вспомним, например, гаджеты для наблюдения за ребенком или полицейские браслеты, контролирующие передвижения осужденных. Даже самые примитивные образцы уже давно продемонстрировали разрушительные возможности: пояса со взрывчаткой — это носимые устройства, биологическое оружие (например, оспа, поразившая американских индейцев) — импланты.

3. Может ли гибель человечества оказаться побочным явлением? Или же технология должна задаться целью именно уничтожить или покорить нас?