результаты, часто могут развиваться по непредсказуемой траектории. Опасные патентованные средства десятилетиями соблазняли доверчивую публику, что привело к некоторым печальным результатам[137]. Особенно такие препараты были привлекательны для тех, кто не мог попасть к врачу, и точно так же приложения психического здоровья сегодня рекламируются тем, кто не может попасть к терапевту, ведь это «лучше, чем ничего». Недавно Конгресс исключил диетические добавки из списка препаратов, регулируемых FDA, создав «Дикий Запад» сомнительных «естественных снадобий»[138]. Эффективность этих субстанций по большей части не доказана. Неудивительно, что дерегулирование искажает подобным образом цифровую диагностику и цифровую терапию.

Давняя история терапевтических программ позволяет лучше понять сегодняшний перенасыщенный рынок ИИ-консультаций. Специалист по компьютерным наукам из MIT Джозеф Вейценбаум разработал одну из наиболее известных программ, ELIZA (названную по имени Элизы Дулитл из «Пигмалиона», поскольку программа копировала речевые паттерны пользователей). Этот чат-бот, один из первых, подражал психотерапевту школы Роджерса. В статье 1966 г. Вейценбаум привел следующий пример беседы между пользователем и программой:

Пользовательница: Все мужчины одинаковы.

ELIZA: В ЧЕМ?

П.: Вечно они донимают нас то тем, то другим.

Е.: МОЖЕТЕ ЛИ ВЫ ПРИВЕСТИ КОНКРЕТНЫЙ ПРИМЕР?

П.: Ну, например, мой друг заставил меня прийти сюда.

Е.: ВАШ ДРУГ ЗАСТАВИЛ ВАС ПРИЙТИ СЮДА?

П.: Он говорит, что я почти все время чем-то подавлена.

Е.: МНЕ ПРИСКОРБНО СЛЫШАТЬ, ЧТО ВЫ ЧЕМ-ТО ПОДАВЛЕНЫ.

Поначалу Вейценбаум очень гордился своим творением. Он показывал его и преподавателям, и техническому персоналу MIT. Пользователи часто «секретничали» с программой, притом настолько часто, что Вейценбаум вскоре прекратил работу над этим проектом, опасаясь, что из-за него люди начнут отказываться от других, более содержательных форм терапевтической работы[139]. Учитывая навязчивое стремление современных технократов от здравоохранения сократить во что бы то ни стало расходы, эта обеспокоенность оказалась пророческой. В эпоху «покупок, ориентированных на реальную ценность» приложение за 2,99 долл. может показаться безусловно привлекательной заменой психиатру.

Защитники приложений, возможно, заявят, что не стоит вспоминать об ELIZA, ведь за последние полвека получила развитие намного более совершенная технология. Однако в большинстве топовых приложений психического здоровья, с которыми имеет дело потребитель, по-прежнему используется простой текстовой интерфейс. Весьма популярное приложение Woebot разработано для автоматизации определенных приемов когнитивно-поведенческой терапии. Woebot начинает разговоры с пользователем достаточно ненавязчиво, отслеживая их с помощью простых дихотомических ответов. Например, в начале разговора Woebot пишет: «Мои данные, основанные на исследовании в Стэндфордском университете, показывают, что людям требуется около 14 дней на то, чтобы научиться разговаривать со мной и начать себя лучше чувствовать». Пользователь не может задать критические вопросы, в частности: «Какое исследование в Стэнфорде? Сколько в нем было участников? С чем работала контрольная группа?». Два допустимых ответа, которые я увидел, когда сам тестировал это приложение, сводились к следующим: «Хорошо» или «Гм…». Подобные бинарные ответы постоянно используются в приложении, дисциплинируя пользователя.

Для человека, привыкшего к тестам со многими вариантами ответов, простым телефонным играм вроде Candy Crush и бинарным реакциям «нравится/не нравится» в сетях Facebook, Instagram и Twitter, кнопки ответов в Woebot могут быть приятным продолжением безболезненного цифрового дрейфа. Они снимают с человека задачу по объяснению себя самого, по формулировке разумного ответа, как и решение о том, как относиться к собеседнику – со скепсисом или доверием. Тем, кто уже страдает депрессией, это может принести облегчение.

Но существует метод лечения – его обычно называют лечением разговором, – в котором формулировка высказываний как раз и считается главным смыслом консультирования, а не чем-то, чего требуется избегать[140]. Распространение терапевтических приложений грозит вытеснить лечение разговором и заменить его бихевиористическими подходами, которые просто пытаются оборвать, заглушить или оспорить негативные мысли, а не исследовать их контекст и конечные причины. Когда приложения психического здоровья управляются узкоспециализированным ИИ, они пользуются утилитаристским подходом к пациентам, представляющим их проблемы в качестве помехи производительности, и в то же время его закрепляют[141].

Конечно, эти опасения возникли еще десятилетия назад, когда появились психотропные препараты[142]. Критики доказывали, что пациентам лучше изучать более глубокие причины своих проблем, чем пытаться отделаться от них за счет лекарств[143]. Но в этом случае, по крайней мере, эксперт, прежде чем начать лечение, высказывает свое мнение. Слишком многие терапевтические приложения пренебрегают даже такой предосторожностью, выходя прямо на рынок, где они доступны пациентам.

Другая линия критики связана с уязвимостью пользователей, которые могут пострадать от недобросовестной манипуляции, которой занимаются неизвестные силы[144]. Рассмотрим, к примеру, терапевтическое приложение, «лечащее» работника, который недоволен временем, проводимым им на работе. Работник чувствует, что ему недоплачивают или что его недостаточно ценят, и свое недовольство он формулирует в приложении. На такую проблему можно дать несколько возможных ответов. Например, приложение может заставить проявлять настойчивость, подталкивая работника к тому, чтобы он потребовал прибавки. С другой стороны, оно же может предписать созерцательную покорность своей судьбе, поощряя его ценить все то, что у него уже есть. Или оно может занять позицию подчеркнутой нейтральности, пытаясь углубиться в причины беспокойства работника. Попробуйте догадаться, какой ответ такое приложение должно было бы выдать работнику по мысли работодателя. Специалисты служат определенным буфером, позволяющим устранить подобные конфликты интересов. Они могут выступать более нейтральными интерпретаторами заболеваний, с которыми к ним обращаются, чем приложения или ИИ, управляемые третьими сторонами, будь то работодатели, страховщики или государства[145].

Предсказательная аналитика работает лучше всего, когда есть ясные и точно определенные параметры успеха. Но в случае проблем с психическим здоровьем есть множество способов определять проблемы и искать решения. Различные коммерческие модели могут склонять к разным определениям ментального заболевания и выбора его лечения. Бесплатное приложение, работающее за счет рекламы, не обязательно оптимизирует «время пребывания» пользователя в приложении, но оно может манипулировать им иначе, что необходимо для его продвижения. Рассказы человека о своем собственном благополучии могут быть

бесспорной базовой истиной, на основе которой нужно мерить ценность приложений[146]. Однако само понятие благополучия колонизировано корпорациями и государством, которые связали его с более объективными показателями, такими как производительность[147]. В процессе подобной колонизации был потерян смысл обозначения эмоций как «форм суждения», если воспользоваться удачным термином Марты Нуссбаум[148]. Они рискуют стать еще одним объектом максимизации с применением цифровой «сомы», поставляемой быстро растущей «индустрией счастья»[149].

И академические ученые, и активисты указывали на проблематические предубеждения врачей и других поставщиков медицинских услуг[150]. Движение за алгоритмическую ответственность в медицине должно будет действовать и дальше – критиковать и исправлять предубеждения и иные проблемы, способные отяготить