Технологии полностью отрицают все то, что дорого людям. Я считаю, что они не могут и не должны двигаться вверх по пирамиде Маслоу от основных потребностей до любви, самооценки и самореализации24. Безусловно, с помощью нейронных сетей и глубокого обучения компьютеры уже смогли научиться таким сложным вещам, как игра в го[22] – и даже способны выигрывать25. Теоретически они смогут научиться вести себя как люди. Тем не менее симуляция – не то же самое, что дублирование, опосредованная реальность – не сама реальность.

Технологии не знают этики – так и должно быть! В наш экспоненциальный век уже даже к мозгу и телу относятся как к механизированным объектам, как к модному wetware (программному обеспечению во плоти и крови). И мы можем только содрогнуться от страха, представив, как в компьютеры внедряют этику и убеждения, или как они сами их развивают. По мнению автора, нам не стоит вступать на этот путь. Сама идея о том, чтобы позволить машинам иметь бытие может рассматриваться как преступление против человечества.

Рожден и взращен внутри машины?

В качестве довольно жуткого примера рассмотрим противоречивую и широко обсуждаемую идею эктогенезиса – вынашивания ребенка в искусственной матке вне тела26, которое станет возможным уже в ближайшие 15–20 лет.

Это представляет собой отличную иллюстрацию того, как технологическое «yes we can»[23] (да, мы сможем) способно отодвинуть на задний план самое основное из человеческих проявлений. Этот футуристический тип воспроизводства населения, конечно, будет менее обременительным и затратным для женщин, но, на мой взгляд, это пагубно и бесчеловечно по отношению к ребенку. Не знаю, как вы, но я с трудом понимаю, на чем основываются люди, которые продвигают такие идеи.

Хорошо ли это для человечества? Короткий опросник

Перед лицом экспоненциальных изменений и тех сложных решений, которые нам придется принимать, я предлагаю составить список вопросов, с помощью которых мы сможем судить о новых прорывах в области науки и технологий, к примеру:

• Нарушает ли эта идея права человека?

• Стремится ли эта идея заменить человеческие отношения механическими взаимодействиями?

• Ставит ли эта идея эффективность выше человечности, стремится ли она автоматизировать то, что не должно быть автоматизировано, например основные способы взаимодействия между людьми?

• Ставит ли эта идея традиционный, основанный на прибыли и росте ВВП способ мышления превыше базовой человеческой морали?

• Сводит ли эта идея человеческое стремление к счастью к простому потреблению?

• Осуществляет ли эта идея автоматизацию основных видов человеческой деятельности, которые не должны быть автоматизированы, как, например, автоматизированный священнослужитель или психоаналитик, работающий на основе ИИ?

Один из моих любимых писателей-фантастов, Уильям Гибсон[24], однажды заметил: «Технологии морально нейтральны, пока мы их не применяем»27. Его острое и часто цитируемое изречение очень точно описывает то, что мы сейчас переживаем, когда само определение человека все более изменяется под влиянием экспоненциальных технологических достижений.

Принцип 90/10 в точке бифуркации

Пока мы еще находимся у поворота экспоненциальной кривой, у нас есть уникальный шанс повлиять на наше будущее. Будет ли оно на 90 % благоприятным и только на 10 % состоять из проблем и рисков из-за всех этих новых технологий? Или ему суждено выбиться из-под контроля, и соотношение перевернется и станет 10/90, как в мире антиутопии?

Большинство технологических достижений все еще носят положительный характер. Новые технологии в области изготовления аккумуляторов и солнечной энергии представляют собой огромный шаг вперед к устойчивому развитию[25] и возобновляемым источникам энергии. Интернет вещей позволяет осуществить подлинно кардинальные изменения: возникают умные порты, умные города, умные фермы.

В наших технологиях все еще 90 % положительного, но тем не менее быстро множатся и некоторые негативные последствия, так как изобретатели, ученые, предприниматели и другие участники рынка в большинстве своем о них не думают.

Интернет вещей (см. главу 5), без соблюдения должных предосторожностей, может превратиться в самую огромную сеть наблюдения и глобальный паноптикум[26], 28. За нами смогут наблюдать в любое время, в любом месте и без нашего ведома, по умолчанию.

Экспоненциальные технологии действительно открывают удивительные возможности для человечества, но мы можем их упустить, если не будем мыслить широко и забудем о том, что технологии и вообще любой бизнес должны стремиться к процветанию человека.

Технологии, власть и ответственность

Власть влечет за собой последствия – но сейчас мы наслаждаемся растущей властью технологий и часто забываем об ответственности, когда речь заходит о нежелательных последствиях, ведущих к коренным изменениям в структуре общества.

Нам нравится общаться друг с другом на Facebook, и многие приходят в восторг от очередного уведомления о том, что кто-то поставил им лайк. Но эта сделка, похожая на сделку Фауста – продажа своих личных данных в обмен на бесплатное пользование глобальной социальной сетью, – не предусматривает, что Facebook должен по-настоящему нести ответственность за те обрывки цифровых данных, которые он о нас собрал. Естественно, Facebook мастерски уклоняется от этого вопроса, ведь разрешение пользователям контролировать то, как используются личные данные, привело бы к краху основной его бизнес-стратегии – продать нас тому, кто больше предложит.

Facebook хочет, чтобы мы чувствовали ответственность за свои действия, пока мы, как в ловушке, наслаждаемся его сервисами. И точно так же, как Национальная стрелковая ассоциация (NRA)[27], они продолжают утверждать, что это люди используют технологии для плохих целей, и технологические компании не виноваты. Позиция, которую занимает по этому поводу NRA – «Людей убивает не оружие, людей убивают люди», – по-моему, просто легкий способ снять с себя ответственность за то, чему они потакают.