все то, что не затрагивает традиционные обязанности и ответственность терапевтов[179]. Хотя в случае определенных фирм подобный арбитраж силами регулирующих ведомств может работать в качестве краткосрочной юридической стратегии, он подрывает доверие, необходимое для процветания индустрии в целом. Для пациентов также создается риск того, что они последуют некачественным советам. Например, когда исследователи в Австралии изучили 82 мобильных предложения, предлагавшихся на рынке людям, страдающим биполярным расстройством, они обнаружили, что эти приложения «не соответствовали практическим стандартам и принятым принципам самоуправления»[180].

Врачи Адам Сайфу и Виньян Прасад начинают недавно вышедшую книгу шокирующим открытием: «Несмотря на поразительное развитие клинической и хирургической науки, а также геномики, врачи по-прежнему, порой десятилетиями, применяют медицинские практики, которые, как позже было показано, не приносят пользы пациентам»[181]. Прасад сформулировал эту проблему в категориях статистики: «46 % того, что мы [врачи] делаем, неправильно». Конечно, некоторые диагнозы поставить просто, и мы в медицинской системе чаще всего имеем дело именно с ними. Большее количество данных поможет нам находить больше «простых решений» при поиске препаратов и даже автоматизировать его. Но нам еще очень далеко до прочерченной методами ИИ траектории, ведущей к гарантированному снижению смертности и приросту продолжительности жизни.

Собственно, самое важное воздействие ИИ и робототехники на медицину может быть косвенным, то есть определяться развитием за пределами сектора здравоохранения как такового. В последние годы исследователи государственного здравоохранения показали исключительное значение социальных факторов здоровья – питания, режима сна, нагрузки на работе, дохода и богатства. Хотя ИИ может создать больше выгод для всех и потенциально повысить благосостояние за счет своего воздействия во всех этих областях, он с той же легкостью может ускорить нежелательный контроль, социальное разделение и конкуренцию с нулевой суммой. Все эти эффекты могут оказать такое же или даже большее воздействие на продолжительность жизни и благополучие, чем развитие роботов-хирургов или диеты, оптимизированные с применением ИИ.

С точки зрения большинства здоровых людей, врачебное дело представляется простой задачей по распознанию паттернов (диагностики), которое ведет к определенным медицинским процедурам или предписаниям. Идеальный телеврач правильно оценивает все представленные ему данные, настоятельно рекомендует определенный курс, а потом переходит к следующему больному. Если бы все было так просто, роботы со временем и в самом деле могли бы заменить врачей. Но в реальном мире медицинской практики эта картина давно устарела. Во многих обстоятельствах сохраняются неопределенность и сомнения относительно того, какие действия лучше всего предпринять. Современная медицина требует участия – или, по крайней мере, понимания – пациента, который должен соблюдать предложенный план лечения. Такие факторы значительно усложняют и обогащают отношения врача и пациента, в которых существенным оказывается собственно человеческая составляющая. С похожими проблемами, как мы увидим в следующей главе, сталкиваются учителя и учащиеся.

3. За пределами машинного обучения

В 2018 г. в китайских социальных сетях получил распространение хештег #ThankGodIGraduatedAlready (#славабогуЯужеОкончил Школу) вместе с одной пугающей картинкой. На ней были изображены ученики старшего класса с зелеными и красными прямоугольниками, наложенными на лица; в каждом таком прямоугольнике – идентификационный номер и дескриптор, например, «рассеян», «отвечает на вопросы» или «спит». Камера ежедневно и ежесекундно записывала происходящее в классе, создав сотни тысяч фотографий лица каждого из учеников. ИИ сравнивал лица с промаркированными изображениями, исследуя каждое на признаки состояния учащегося. Какие-то сотрудники составили обучающий набор данных с метками, такими как «увлечен» или «отвлечен», «внимателен» или «бездельничает». Когда тысячи учеников оказались под наблюдением, у них не было ни одного момента, когда бы камера их не записывала. В отчетах было подсчитано, сколько времени каждый ученик ежедневно сосредоточен на учебе[182].

Эта система ClassCare, которая должна следить за учениками и мотивировать их, была разработана крупной технологической фирмой Hanwang. Другая фирма, Hikvision, вывела на рынок ИИ, который должен записывать состояние учащихся – довольны они или грустят, злы или удивлены. Также был геймифицирован процесс набора учебных кредитов – на специальных мониторах выводились имена лидеров каждого класса, с которыми ученики могли себя сравнивать. Общешкольное табло поощряло классы бороться друг с другом за лучшее поведение. Любой класс с низким баллом точно знал бы, кто отстает и кто тащит всю группу вниз. Репортер Хуэ Юджие проанализировал эту программу «умного образования» в 2019 г. и отметил, что почти все ученики в сети ее осуждали. Они были просто «раздавлены» и проклинали ИИ вместе с его пристальным оком[183].

Некоторые девочки в школе, за которыми следила система компании Hanwang, жаловались на то, что система распознавания лиц не могла их правильно определить. Если они меняли прическу или макияж, их иногда путали с другими девочками. Школа не раз отправляла их на фотосессии. Другие ученики просто отвергали такие камеры. Один сказал: «Я их все хочу разбить». Даже в стране, привыкшей к массовому надзору, постоянная запись повседневной деятельности вызвала возмущение. Когда Фонд Гейтса помог финансировать когнатную биометрику в США (браслет, измеряющий гальваническую реакцию кожи, которая, считается, показывает увлеченность учащегося процессом обучения), общественная критика заставила фонд отступить. Но неясно, окажет ли широкая критика в Китае то же воздействие. Директор компании Hanwang сказал Хуэ, что основой для разработки системы ClassCare послужил Государственный план развития нового поколения искусственного интеллекта[184].

В то же время в одном из университетов США было смоделировано иное будущее технообразования (edtech). Пройдя курс по искусственному интеллекту в университете Georgia Tech, студенты выяснили, что один из ассистентов преподавателей, им известный лишь по сетевому нику Jill Watson (JW), на самом был деле ботом[185]. Обычно JW задавал студентам вопросы в середине недели и отвечал на их вопросы заранее заготовленными ответами. Предположим, студент просит переписать задание. JW отвечает: «К сожалению, редактировать уже отправленные задания невозможно». JW по почте отвечал быстро, но не слишком быстро, иначе его скорость навела бы студентов на подозрения. На запрос помощи JW обычно отвечал «да» или «хорошо бы» на сетевом форуме. На другие обычные вопросы, о сроках и домашней работе, давались полезные (хотя и несколько легкомысленные) ответы.

Студенты, интервью с которыми было опубликовано в газете, похоже, довольны тем, как применялся JW. Им понравились его корректность и скорость. «Я личных черт в его постах не видел. Но, собственно, их и не ждешь от ассистента преподавателя», – сказал студент, который просил JW помочь ему с домашней работой. Ашок Гоэл, преподаватель компьютерных наук, разработчик JW, заявил, что со временем бот смог ответить на 40 % из примерно 10 тыс. вопросов, которые студенты отправляют за типичный семестр.

Можно ли считать, что это начало конца