тому как цифровое кодирование сводит пространство возможных сообщений к упрощенной версии, репрезентирующей только разницу, которая имеет значение, система управления сводит пространство состояний управляемой системы к упрощенной модели, которая отражает лишь цели контролера. Закон Эшби не подразумевает, что каждый контролер обязан моделировать каждое состояние системы; нет, речь только о тех состояниях, которые важны для реализации целей контролера. Значит, в кибернетике целью контролера становится перспектива, с которой наблюдается мир.

Норберт Винер принял точку зрения индивида, окруженного крупными организациями и стремящегося выжить в этой среде. Он принял точку зрения слабого, который пытается повлиять на сильного. Возможно, именно поэтому он смог заметить формирующиеся цели «машин из плоти и крови», смог предугадать ряд социальных проблем, порождаемых новым интеллектом – гибридным машинным интеллектом, располагающим собственными целями.

Глава 18

Станут ли компьютеры нашими повелителями?

Венки Рамакришнан

научный сотрудник лаборатории молекулярной биологии Совета медицинских исследований Кембриджского университета, лауреат Нобелевской премии по химии (2009), действующий президент Королевского общества, автор книги «Генная машина: в поисках разгадки секретов рибосомы».

Венки Рамакришнан – биолог, лауреат Нобелевской премии, среди множества научных исследований которого выделяется работа по атомной структуре рибосомы – по сути, огромной молекулярной машины, считывающей наши гены и производящей белки. Такое исследование невозможно без мощных компьютеров, а интернет значительно упростил труд исследователя и, как говорит сам Венки, существенно облегчил доступ к международным ресурсам: «Когда я рос в Индии, чтобы отыскать какую-либо новую научную книгу, приходилось ждать полгода или год после ее публикации на Западе… Журналы поступали по почте через несколько месяцев после выхода в свет. По счастью, сам я с этим не сталкивался, потому что покинул Индию в девятнадцать лет, но я знаю, что индийские ученые регулярно испытывали такие сложности. Зато сегодня они получили доступ к информации одним нажатием кнопки. Более того, у них есть доступ к лекциям. Они запросто могут слушать Ричарда Фейнмана. Это была моя мечта в юности. Они теперь могут просто посмотреть на Ричарда Фейнмана в сети. Это несомненное достижение. И все же… наряду с изрядными преимуществами [интернета] ныне мы вынуждены обрабатывать огромное количество шума. Вокруг столько людей, рассуждающих на псевдонаучном жаргоне и выдающих собственные маловнятные идеи за научные!»

Будучи президентом Королевского общества[142], Венки также обеспокоен проблемой утраты доверия общественности к научным результатам, основанным на фактических данных, и проблемой доверия ученых к трудам коллег, подразумевающего тщательную проверку выводов друг друга. Оба вида доверия оказались под угрозой вследствие концепции «черного ящика», лежащей в основе глубинного обучения. «Это [размывание доверия] будет только усугубляться по мере возрастания объемов данных, скажем, в исследованиях генома, популяционных исследованиях и прочих областях, – говорит он. – Как нам, научному сообществу, разобраться в происходящем и донести до общественности понимание того, что на самом деле представляет собой наука, каковы научные критерии надежности и неопределенности, как отличить правильное от неправильного в науке?»

Мой бывший коллега Жерар Бриконь любил пошутить, что интеллект на основе углерода – просто катализатор эволюции интеллекта на основе кремния. Довольно долго и голливудские фильмы, и Иеремии от науки предрекали и предрекают нашу возможную капитуляцию перед повелителями-компьютерами. Но мы до сих пор ждем наступления сингулярности, приход которой, похоже, все откладывается и откладывается.

В некотором смысле компьютеры уже завладели миром, ведь они помогают нам практически во всем – от банкинга, путешествий и оплаты коммунальных услуг до самого интимного личного общения. Я могу бесплатно переговариваться по видеосвязи со своим внуком в Нью-Йорке. Помню свои первые впечатления от фильма «2001: Космическая одиссея» (1968): зрители потешались над нелепо дешевой стоимостью видеозвонка из космоса (1 доллар 70 центов), тогда как в США в те времена минута междугороднего разговора стоила 3 доллара.

Впрочем, простота, удобство и вычислительная мощь, пришедшие с компьютерами, одновременно кажутся чем-то вроде фаустовской сделки, ибо она подразумевает постепенную утрату контроля за происходящим. Компьютеры мешают нам делать то, что мы хотим. Попытайтесь сесть на рейс, прибыв в аэропорт, когда компьютерная система авиакомпании не работает, как это случилось недавно с системой «Бритиш эйруэйз» в Хитроу. Самолеты, пилоты и пассажиры были на месте, средства управления воздушным движением функционировали – но в разрешении на вылет рейсам этой авиакомпании отказывали. Еще компьютеры заставляют нас делать то, что нам не требуется – через длинные списки рассылки и распространение миллионов образцов спама по электронной почте, которую мы, люди, вынуждены разбирать, сортировать и утилизировать.

Ладно, это еще не беда. В прошлом мы программировали компьютеры, используя алгоритмы, понятные для нас – по крайней мере, в принципе. Поэтому, когда машины совершали нечто удивительное (скажем, побеждали чемпиона мира по шахматам Гарри Каспарова), мы могли заявить, что программа-победительница разработана с использованием алгоритмов, основанных на нашем собственном понимании игры, в данном случае – на опыте и советах ведущих гроссмейстеров. Машины просто быстрее выполняют расчеты методом грубой силы, обладают огромным объемом памяти и не подвержены ошибкам. В одной статье победа описывалась не как торжество компьютера («тупой машины»), а как триумф сотен программистов над Каспаровым как индивидом.

Ныне способ программирования меняется на глазах. После долгой подготовки наконец-то заработало машинное обучение. Большая часть изменений произошли, когда программисты бросили попытки предвидеть и закодировать все возможные обстоятельства ситуаций и вместо этого позволили компьютерам обучаться самостоятельно, через глубинные нейронные сети, основанные на моделях обучения нашего собственного мозга. Машины используют вероятностные методы «обучения» на большом количестве данных, могут распознавать шаблоны и самостоятельно делают выводы. Особенно эффективным методом оказалось обучение с подкреплением, когда компьютер без предварительного объяснения определяет, какие именно переменные важны и какие из них следует учитывать для достижения какой-то цели. Этот метод в некотором смысле имитирует наше обучение в детстве. Результаты применения новых подходов поистине поразительны.

Подобная программа глубинного обучения использовалась для того, чтобы научить компьютер играть в го – хотя всего несколько лет назад еще считалось, что эта игра не для ИИ, поскольку крайне трудно оценить успешность принимаемых в ней решений. Бытовало мнение, что лучшие игроки в го во многом полагаются на интуицию и чувство позиции, а потому такое мастерство требует особого – человеческого – интеллекта. Но программа AlphaGo, разработанная компанией DeepMind, после обучения на тысячах высокоуровневых партий в го, сыгранных людьми, а также миллионов партий с собой, смогла превзойти лучших игроков-людей за короткое время. Еще более удивительно, что «родственная» ей программа AlphaGo Zero, обучавшая с нуля через поединки с собой, оказалась сильнее версии, изначально разработанной для игр с человеком! Как будто люди