пока еще не появились технологии, которые радикально изменили бы облик общества. Механизмы государства и правительства состоят из людей. Пока большинство людей хранит верность идеалам демократии, государственной машиной не сможет управлять тиран.

Однако зарождается сила, которая сделает государственный аппарат по-настоящему механистическим, находящимся под управлением машин. Я говорю об искусственном интеллекте.

Когда искусственные интеллекты (ИИ) станут такими же разумными, как и люди, возникнет государственная администрация, которая будет в полной мере управляться ИИ; кроме того, появится армия роботов. Эта система будет абсолютно стабильной, и если контроль над ней получит диктатор, то гражданам придется быть абсолютно покорными. И поскольку у сети ИИ будет почти неограниченное количество энергии, она, скорее всего, сможет следить за каждым членом общества и контролировать его.

Но ИИ дает только технологическую базу для тоталитаризма; пока история идет обычным курсом, этот кошмар, скорее всего, не воплотится в жизнь, потому что мечты о демократии уже укоренились в сердцах людей. Демократия стала краеугольным камнем современного общества, и останется им. Но есть определенные сценарии, которые нужно учитывать, например катастрофы – либо природные, либо антропогенные. Мы должны помнить, что для появления невиданной ранее системы слежки понадобилось всего лишь обрушить два небоскреба в США.

Возможно, общество людей пострадает от последствий даже более страшной технологической сингулярности, чем появление искусственного интеллекта: возможно, кто-то возьмет в заложники саму Землю.

Прежде всего, мы должны прояснить термин «взять в заложники»: я имею в виду ситуацию, в которой один человек или группа людей, стремящиеся добиться своих политических целей, угрожают применить оружие, которое уничтожит всех или большинство людей (и в том числе их самих) в закрытом, ограниченном пространстве (часто в движущемся и даже летящем объекте). По сравнению с самолетом, кораблем или катером Земля является еще более опасным объектом – тем, кто живет на ней, бежать некуда. Итак, как же можно взять Землю в заложники?

Сейчас это невозможно, ведь чтобы этот сценарий стал угрожающим, террористам нужно оружие, способное уничтожить планету. Только ядерное оружие может уничтожить Землю, но ядерные заряды слишком большие и сложные, и поэтому один человек не способен их взорвать. Чтобы взять в заложники планету, один человек может использовать только одну атомную бомбу, а самая мощная бомба в истории – это советская водородная бомба мощностью 50 мегатонн. Даже если ее взорвать, она уничтожит все живое на поверхности только в радиусе 100 километров – этого слишком мало, чтобы взять Землю в заложники.

Но развитие технологий может привести к созданию супероружия, которое позволит взять Землю в заложники. Возможно, это будет антиматерия, созданные людьми черные дыры или супервирусы.

Давайте взглянем на антиматерию, чей электрический заряд, или соотношение электронов и протонов, противоположен обычной материи. При контакте материи с антиматерией они аннигилируются, полностью превращаясь в энергию. Во Вселенной огромное количество антиматерии. На данный момент ее можно создать в ускорителях частиц, но только в крошечных количествах. Давайте посчитаем, сколько антиматерии нужно, чтобы взять в заложники Землю. Водородная бомба мощностью 50 мегатонн весила 27 тонн; предположим, что материя, в которой идет процесс слияния ядер, весит вдвое меньше, то есть 14 тонн. В соответствии с техническими ограничениями того времени, в энергию превращалось 2 % этой массы – 0,28 тонны. Иными словами, 140 килограммов антиматерии, соединившейся с материей, произведут тот же эффект, что и водородная бомба мощностью 50 мегатонн: они уничтожат все в радиусе 100 километров. Около 30 тонн антиматерии полностью уничтожат экосистему Земли. Добавим герметичный контейнер на магнитном рельсе, и тогда общая масса этого оружия составит около 100 тонн; такой груз поместится на одном корабле или в двух больших грузовиках. Взорвать такую бомбу сможет один человек.

Поведение массы людей легко предсказать, однако одиночки, особенно меньшинство, за которым мы не можем уследить, практически непредсказуемы. Тихий врач может внезапно наброситься на детей с ножом. Отдельные люди способны на все: они часто захватывают в заложники пассажиров автобусов, кораблей и самолетов. Если индивидуумы или небольшие группы получат это супероружие, тогда нельзя исключать сценария, в котором Земля окажется в заложниках. И если такой человек или группа добьется успеха, структура общества, скорее всего, навсегда изменится.

Это всего лишь два примера технологических сингулярностей: один – положительный, второй – отрицательный. Но сингулярность может появиться в любой сфере знаний. Многие области науки и технологии, возможно, близки к тому, чтобы в них произошли качественные изменения. В будущем появится много факторов, которые нужно учитывать, – и они сделают жизнь более интересной.

Ущелье Нянцзы,

29 сентября 2010 г.

Опубликовано в DUKU 1005,

New Star Press, октябрь 2010 г.

В ожидании пришествия ИИ

Сейчас компьютеры меняются: из прозрачных и предсказуемых систем они превращаются в непредсказуемые и плохо управляемые «черные ящики». Возможно, это знак того, что мы живем в доисторический период, после которого начнется эра настоящего искусственного интеллекта.

Как только компьютеры были изобретены, они сразу же значительно превзошли людей по вычислительной мощности. Позднее они начали обыгрывать людей в шахматы, научились распознавать наши лица и понимать наш язык. Но в глубине души большинство из нас до сих пор не верит, что мы имеем дело с настоящим разумом. Мы смотрим на них и чувствуем, что в них чего-то не хватает, что на самом деле мы не взаимодействуем с настоящим интеллектом.

Причина заключается в том, что на фундаментальном уровне вычислительные процессы являются прозрачными и предсказуемыми.

Компьютер, который обыграл человека в шахматы, не является ИИ. Компьютер, который проиграл в шахматы, а затем с помощью «мыши» нанес человеку смертельный удар током – вот это ИИ.

Краткую историю развития ИИ можно разделить на два периода. В ходе первого крайне идеалистично настроенные исследователи пытались улучшить логические операторы программ и эксплуатационные характеристики техники и тем самым создать настоящий разум. Иными словами, они пытались играть роль бога. После того как японский проект по созданию компьютеров пятого поколения потерпел неудачу, люди обнаружили, что достичь заявленных целей в обозримом будущем невозможно. Поэтому исследования ИИ сместились в сферу баз данных и знаний: это была стратегия создания интеллекта методом перебора комбинаций с помощью огромных объемов накопленной информации. В 1990-х подобные исследования поначалу привели к усилению экспертных систем; когда-то я участвовал в разработке подобной системы для паровых турбин. Я четко помню, как мы строили базу знаний; эксперты, которые участвовали в этом проекте, резко помрачнели, увидев, что весь их профессиональный опыт можно свести к паре строчек программного кода. Однако уверенность быстро вернулась к ним: они поняли,