Утечка теплоносителя на атомной электростанции в Три-Майл-Айленде в Пенсильвании 28 марта 1979 года обошлась почти в миллиард долларов, потраченных на очистку местности, и повлекла череду митингов против ядерной энергетики. Окончательный отчет о причинах происшествия называет много факторов, включая путаницу, возникшую из-за неудачного пользовательского интерфейса. В частности, световой сигнал, который, по мнению операторов, должен был предупреждать их о срабатывании контрольного клапана и его закрытии после этого, в действительности сообщал о том, была ли послана команда, и поэтому они так до конца и не поняли, что клапан все время оставался открытым.

Все эти аварийные ситуации, возникшие на транспорте и в энергетических системах, учат нас, что, когда мы возложим на искусственный интеллект управление какой бы то ни было физической системой, мы должны будем приложить серьезные исследовательские усилия не только на то, чтобы машины хорошо работали сами по себе, но и на то, чтобы они эффективно сотрудничали с контролирующими их работу людьми. По мере того как искусственный интеллект становится «умнее», «умнее» должен становиться не только сам машинный «интеллект», не только интерфейс, с помощью которого он обменивается данными с людьми, но важна и постоянная забота о том, чтобы оптимально распределить задачи в системе человек-машина — в частности, это выявление ситуаций, когда управление должно быть передано на высший уровень, с передачей человеку необходимой для этого информации, но без потока несущественных сообщений, отвлекающих его.

Искусственный интеллект для здравоохранения

У искусственного интеллекта огромный потенциал в деле улучшения здравоохранения. Оцифрованные истории болезней уже позволили врачам и пациентам лучше и быстрее принимать решения, а также мгновенно получать помощь от экспертов всего мира, проводящих диагностику по цифровым изображениям. Но в действительности лучшим экспертом в таком деле скоро может стать система с искусственным интеллектом, если принять во внимание быстрый прогресс в машинном распознавании образов и глубоком обучении. В подтверждение сошлемся на голландское исследование 2015 года, показавшее, что компьютерная диагностика рака простаты с помощью магнитно-резонансной томографии (МРТ) давала лучшие результаты, чем диагностика радиолога-человека, а исследования, проводившиеся в 2016 году в Стэнфордском университете, показали, что и рак легких искусственный интеллект может диагностировать по фотографиям с микроскопа даже лучше врача-человека. Если машинное обучение способствует выявлению взаимосвязи между генами, заболеваниями и откликом на лечение, то оно же могло бы радикально улучшить персонализированные методы в медицине, создать условия для содержания сельскохозяйственных животных в значительно более здоровом состоянии и для выведения более устойчивых к заболеваниям пород. Более того, у роботов есть все основания, для того чтобы превзойти людей в надежности и точности при проведении хирургических операций, и для этого даже не требуются передовые AI-технологии. В последние годы были проведены самые разнообразные роботизированные операции, и при этом часто достигались значительно бóльшие миниатюризация и точность, позволяющие обходиться меньшими разрезами, снижая кровопотери, доставляя пациентам меньше страданий и сокращая сроки послеоперационной реабилитации.

Увы, и здесь, в деле здравоохранения, не обошлось без болезненных уроков на тему о том, как важна надежность программного обеспечения. Канадский аппарат Therac‐25, к примеру, был создан для лечения рака методами лучевой терапии, которая могла вестись в двух различных режимах: либо пучком низкоэнергетических электронов, либо мощным рентгеновским лучом, получаемым при рабочем напряжении порядка мегавольт и фокусируемым на цели при помощи специальной защиты. К несчастью, программное обеспечение содержало «глюки», не выявленные в процессе отладки, и техники, думая, что управляют маломощным пучком электронов и не устанавливая поэтому защиту, направляли на пациентов мегаэлектронвольтный рентген, что стоило некоторым из них жизни. Гораздо больше пациентов умерло в 2000 и 2001 годах от лучевой болезни в Национальном онкологическом институте в Панаме, где в оборудование для лучевой терапии с использованием радиоактивного изотопа кобальта Co‐60 было установлено не прошедшее достаточной валидации программное обеспечение с вводящим оператора в заблуждение интерфейсом, в результате чего время экспозиции оказывалось завышенным. Согласно опубликованному недавно докладу, в США в период между 2000 и 2013 годами ошибки роботизированной хирургии стали причиной 144 смертей и 1391 травмы, при этом наиболее частые ошибки включали в себя не только аппаратные проблемы, такие как паразитные электрические дуги, ожоги или падающее на пациентов оборудование, но и ошибки в работе программ, вызывающие неконтролируемые движения или спонтанное отключение оборудования.

Хорошая новость заключается в том, что остальные почти два миллиона роботизированных хирургических операций, упомянутых в докладе, прошли гладко, и использование роботов, очевидно, делает хирургию более безопасной. По данным исследования, проведенного по заданию правительства США, плохое обращение при содержании в стационарах способствует смерти более 100 000 американских пациентов в год, так что моральный императив при разработке лучшего AI-оборудования для медицины, вероятно, даже более значим, чем при создании беспилотных автомобилей.

Искусственный интеллект и связь

Вероятно, ни в какой другой отрасли человеческой деятельности компьютеры не оказали столь большого влияния, как в области связи. После введения компьютеризированных телефонных коммутаторов в пятидесятых годах, появления интернета в шестидесятых и Всемирной паутины в 1989 году миллиарды людей теперь отправляются онлайн, чтобы общаться, совершать покупки, читать новости, смотреть фильмы или играть в игры. Они привыкли получать доступ к миру информации в один клик — и часто бесплатно. Появление «интернета вещей»[23] обещает повысить эффективность, точность, удобство и экономическую выгоду от того, что доступ онлайн можно будет получить буквально ко всему: от бытовых светильников, термостатов и холодильников до биочипа транспондеров, имплантированных сельскохозяйственным животным.

Эти впечатляющие достижения на пути к всеобщей мировой связи сделали актуальной четвертую задачу в повестке компьютерных ученых: они должны улучшить не только тестирование, валидацию и контроль, но и защиту от вредоносного программного обеспечения («мальвари») и взломов. Если все казусы, описанные выше, происходили от непреднамеренных ошибок, защита устанавливается именно против преднамеренных и злонамеренных неправомерных действий. Первая «мальварь», привлекшая к себе внимание средств массовой информации, получила имя червя Морриса. Она была запущена в сеть 2 ноября 1988 года и использовала уязвимость в операционной системе UNIX. Утверждается, что это была неудачная попытка подсчитать, сколько компьютеров в тот день было онлайн, и хотя в результате было инфицировано и выведено из строя около 10 % от 60 000 компьютеров, составлявших тогда интернет, это не помешало создателю червя, Роберту Моррису, стать ординарным профессором информатики в MIT.