Недружественная сингулярность

Промышленная революция дала нам машины сильнее нас. Информационная революция породила машины умнее нас в некоторых отношениях. Каких именно? Компьютеры обычно превосходят нас только в простых, требующих «грубой силы» когнитивных задачах, таких как быстрые арифметические вычисления или поиск в базе данных. Однако в 2006 году компьютер одолел чемпиона мира по шахматам Владимира Крамника, а в 2011 году положил на лопатки Кена Дженнингса в телевикторине Jeopardy![96] В 2012 году компьютер получил водительскую лицензию в штате Невада, после того как было доказано, что он безопаснее водителя-человека. Как далеко это зайдёт? Превзойдут ли нас компьютеры по всем задачам, выработав сверхчеловеческий интеллект? У меня мало сомнений в том, что это может случиться: наш мозг — это совокупность частиц, подчиняющихся законам физики, и нет физического закона, запрещающего частицам организоваться так, чтобы выполнять ещё более сложные вычисления. Но случится ли это, и будет ли это хорошо? Вопросы очень своевременные: хотя некоторые считают, что машины со сверхчеловеческим интеллектом в обозримом будущем построить нельзя, другие, например американский изобретатель и писатель Рэй Курцвейл, предсказывают их появление уже к 2030 году, что делает данную угрозу требующей неотложного рассмотрения.

Идея сингулярности

В общем, неясно, появятся ли (и должны ли появиться) сверхразумные машины, и эксперты по искусственному интеллекту расходятся во мнениях по этому вопросу. Но, я думаю, совершенно ясно, что если такое случится, последствия будут взрывоподобными. Почему это так, объяснил британский математик Ирвинг Гуд в 1965 году, за два года до моего рождения: «Определим сверхразумную машину как такую, которая может превзойти сколь угодно умного человека в любой интеллектуальной деятельности. Поскольку конструирование машин является одним из видов такой интеллектуальной деятельности, сверхразумная машина может сконструировать машины, которые окажутся ещё лучше. Тогда, несомненно, произойдёт „интеллектуальный взрыв“, и интеллектуальный уровень человека останется далеко обойдён. Таким образом, первая сверхразумная машина станет последним изобретением, которое человеку когда-либо понадобится сделать — при условии, что эта машина будет достаточно покорной и покажет нам, как держать её под контролем».

В заставляющей задуматься статье 1993 года математик и писатель-фантаст Вернор Виндж назвал этот интеллектуальный взрыв сингулярностью и доказывал, что это будет точка, за которой мы не сможем делать надёжных предсказаний.

Я думаю, что если мы и сможем построить сверхразумные машины, то первая из них будет очень сильно ограничена в возможностях тем программным обеспечением, которое мы напишем, и что мы компенсируем наш недостаток понимания того, как оптимально запрограммировать интеллект, создав аппаратное обеспечение, обладающее значительно большей вычислительной мощностью, чем наш собственный мозг. В конце концов, наши нейроны не лучше и не многочисленнее, чем у дельфинов, просто по-другому соединены, а значит, программное обеспечение может иногда быть важнее аппаратуры. Эта ситуация, вероятно, позволила бы первой машине радикально совершенствоваться, переписывая собственное программное обеспечение. Иными словами, в то время как людям понадобились миллионы лет эволюции, чтобы радикально улучшить свой интеллект, эта эволюционирующая машина смогла бы воспарить над интеллектом своих предков, то есть нас, за считанные часы, если не за секунды.

И после этого жизнь на Земле навсегда изменится. Тот (или то), кто будет контролировать эту технологию, быстро станет самым богатым и могущественным, обыгрывая все финансовые рынки и превосходя в изобретениях и патентах всех учёных-людей. Создавая радикально лучшее аппаратное и программное обеспечение для компьютеров, такие машины могли бы быстро наращивать свою мощность и численность. Вскоре были бы изобретены технологии, выходящие за рамки нашего нынешнего воображения, включая любое оружие, которое покажется необходимым. А дальше настал бы черёд политического, военного и социального управления миром. С учётом того, насколько серьёзное влияние оказывают сегодня книги, СМИ и интернет, я полагаю, что машины смогли бы превзойти в публицистике миллиарды самых талантливых людей, покорив наши сердца и умы без всякого подкупа или завоевания.

Кто контролирует сингулярность?

Если наступит сингулярность, как она повлияет на человеческую цивилизацию? Конечно, мы не можем знать это наверняка, но, думаю, это зависит от того, кто или что будет её первоначально контролировать (рис. 13.4). Если технология будет первоначально разработана учёными или другими людьми, которые сделают её общедоступной, то, я думаю, возникшая ситуация «всё для всех даром» будет крайне нестабильной и приведёт к тому, что после короткого периода конкуренции управление сосредоточится в едином центре. Если этим центром будет эгоистичный человек или корпорация, нацеленная на получение прибыли, то, думаю, такой владелец вскоре возьмёт под контроль государственное управление, став правителем в масштабах всего мира. Альтруистичный человек может повести себя так же. В этом случае управляемый человеком искусственный интеллект (ИИ) был бы, по сути, подобен порабощённому богу, который по своим способностям далеко превосходит людей, но делает то, что приказывают хозяева. ИИ был бы настолько же совершеннее современных компьютеров, насколько люди совершеннее муравьёв.

Вполне вероятно, что удержать ИИ в подчинённом состоянии окажется невозможным. Носители ИИ будут коммуницировать с нами и смогут нас изучить нас в достаточной мере, чтобы придумать, как уговорить нас сделать что-нибудь на первый взгляд безобидное — что, однако, позволит им вырваться из-под опеки и, распространяясь стремительно, как инфекция, взять над нами верх. Я сильно сомневаюсь, что мы сможем избежать поражения, учитывая, как тяжело нам даётся уничтожение даже сравнительно простых компьютерных вирусов.

Чтобы предупредить «побег» или лучше служить человеческим интересам, владелец может предпочесть добровольно передать власть тому, что исследователь ИИ Элиезер Юдковски назвал «дружественным ИИ», который независимо от уровня своего развития стремится приносить человечеству пользу, а не вред. Если так, то дружественные носители ИИ станут действовать как доброжелательные божества или смотритель зоопарка, следя, чтобы люди были накормлены, находились в безопасности и достигали самореализации, оставаясь при этом под твёрдым контролем. Если вся человеческая работа будет выполняться машинами под управлением дружественного ИИ, человечество может продолжать существовать более или менее счастливо — при условии, что необходимые продукты будут доставаться нам практически даром. Напротив, в сценарии, где сингулярностью управляет эгоистичный человек или коммерческая корпорация, вероятным результатом станет невиданная диспропорция в доходах, поскольку история учит нас, что большинство людей предпочитает накапливать богатство, а не делиться с другими.