бы относительно легко задокументировать проблему. Instagram, как предупреждают авторы исследования, "сходит с рук, потому что никто не решил заняться этим".

 

-

Артуро Бежар смотрел на ситуацию с другой точки зрения, но выводы сделал те же самые. Вернувшись в Facebook в 2019 году после четырехлетнего перерыва, Бежар работал консультантом в команде по благополучию Instagram - на этот шаг его вдохновили истории его дочери-подростка о жестоком обращении на платформе. Когда-то Бежар был полон оптимизма в отношении возможностей технологий и Facebook в частности, но теперь его взгляды стали заметно мрачнее.

Будучи оригинальным "мистером Мило" в Facebook, Бежар стал пионером в подходе компании к улучшению качества обслуживания пользователей. Его команда Compassion проделала особенно новаторскую работу по борьбе с самоубийствами, создав способ, с помощью которого пользователи могли сообщать о том, что их друг на Facebook рискует нанести себе вред, направляя их сначала в соответствующие региональные кризисные центры, а если были основания для серьезного беспокойства, побуждая их отправить сообщение. Человек, который выглядел подавленным, при следующем входе в систему получал уведомление со словами: "Кто-то беспокоится о вас". Если кому-то угрожала непосредственная опасность, модераторы Facebook повышали уровень тревоги и, возможно, сообщали о ней в правоохранительные органы.

"Было несколько отдельных случаев, когда кто-то писал в Facebook, что собирается покончить с собой, а потом делал это", - вспоминает один из членов команды, занимающейся профилактикой самоубийств. Эти смерти послужили поводом для самоанализа и анализа. Иногда в ходе проверки выяснялось, что модераторы компании не справились с задачей. В других случаях пользователи не сообщали о риске. И даже когда пользователи отмечали кого-то в кризисной ситуации, время реагирования часто было медленным, потому что очереди отзывов были забиты недобросовестными сообщениями.

Пресса, освещавшая волну самоубийств, совершенных в 2017 году с помощью прямых трансляций, не делала различий между этими сценариями. Если кто-то покончил с собой на Facebook, это была вина Facebook. Компания обратилась за помощью к искусственному интеллекту. Чтобы создать классификатор самоповреждений или графического насилия, команда скормила своему инструменту машинного обучения, FB Learner, большой набор данных, первоначально только текстовых. Новая система показала себя многообещающе, определив приоритетность сообщений, благодаря чему модераторы добирались до достоверных примерно в двадцать раз быстрее. Затем они обратились к живому видео. То, что получилось, не было идеальным, но было хорошим.

Хотя количество жизней, спасенных этим инструментом, неизвестно, команда смогла отследить, сколько раз классификатор, а не пользователи, обнаруживал суицидальное поведение, вызывающее беспокойство настолько, что служба поддержки клиентов Facebook сообщала о нем в правоохранительные органы. "Это был показатель того, сколько раз мы были единственной надеждой, и мы старались, и это число оказалось гораздо больше, чем мы ожидали", - сказал член команды, который начал плакать, вспоминая о вмешательстве. "Мы не знаем, сколько из них погибло, но мы пытались их спасти".

Это была лучшая работа Facebook, объединяющая несовершенные, но мощные технологии. Эта работа продолжалась и после ухода Бежара из компании в 2015 году, но другие проекты, которые он инициировал, оказались не такими долговечными. Он отладил процесс подачи пользовательских отчетов, который, по его мнению, был необходим для создания и поддержания хорошей платформы. Компания перешла от рассмотрения плохих сообщений пользователей к их активному пресечению.

В то же время Facebook сосредоточился на сокращении количества узкоспециального "плохого контента", попросив пользователей сообщать на только о явных нарушениях определенных правил Facebook, для чего можно было использовать машинное обучение. Выявить пользователей, продающих живых животных, распространяющих материалы о сексуальном насилии над детьми или вербующих участников для террористической атаки, было довольно просто. Умеренное улучшение способности классификатора обнаруживать женский сосок, например, может предотвратить десятки миллионов "прискорбных" просмотров.

Чего не могла сделать такая автоматизация, так это разобраться с проблемами, имеющими субъективную составляющую, - от языка ненависти до издевательств. В результате чрезмерной зависимости от автоматизации и недостаточной зависимости от человеческого контроля компании не хватало ловкости, чтобы определить, какие сообщения об анорексии тонко поощряют ее, когда ссылка на чью-то религию неуместна, а комментарий "Мне нравится ваш макияж!" является комплиментом или формой домогательства.

Пользователи мало что могли сделать, чтобы выразить недовольство увиденным, кроме как отправить сообщение, которое часто ни к чему не приводило, или заблокировать пользователя. В течение многих лет пользователи просили о создании чего-то вроде кнопки "не нравится", но эта идея никогда не нравилась руководству, включая Цукерберга. Наши продуктовые инстинкты подсказывали нам, что кнопка "не нравится" может привести к росту негатива", - написала Джули Жуо, вице-президент App Design, в эссе о хорошем дизайне продуктов, опубликованном в 2021 году.

Во многом причиной этого стало нежелание Facebook, компании с ненасытным аппетитом к данным, собирать негативные отзывы, подобные тем, которые когда-то пытался получить Бежар. Многочисленные попытки отбиться не увенчались успехом. "Негативным настроениям не место в FB, потому что мы - счастливое место, где вы общаетесь с друзьями", - сказал мне один бывший директор, резюмируя мнение компании. "Если мы позволим вам как пользователю получать негативные отзывы, это не пойдет вам на пользу".

За неделю Facebook собирает 80 миллиардов различных положительных сигналов о том, что нравится пользователям на платформе, но всего лишь 0,5 процента сигналов о том, что им не нравится, обнаружил один специалист по анализу данных в отчете за 2019 год. Он отметил, что официальные данные о контенте не дают четкого представления о том, что испытывают пользователи . Официально запрещенная нагота составляла всего 0,05 % от общего числа просматриваемых на Facebook постов, в то время как язык ненависти и насилие составляли около 0,2 %. Но если объединить "пограничные" случаи, то доля проблемного контента вырастет до 10 % от всех просмотренных постов. А если к плохому опыту отнести также "приманку для вовлечения", соскобленный контент и "шокирующую информацию о здоровье", то эта цифра увеличится до более чем 20 % всех просматриваемых на Facebook постов.

Спустя годы компания начнет экспериментировать с внедрением простых способов выражения недовольства пользователей, фактически признавая, что исследователь был прав. Но в то время Facebook не был заинтересован в сборе такой информации. Поскольку компания создавала свою платформу для сбора только положительных отзывов, она получала информацию только от тех, кому она активно нравилась.

Бежар поделился недоумением исследователя данных по поводу того, что компания не вкладывает значительные средства в сбор более широкого спектра данных. Он потратил много времени, объясняя, что не все случаи использования негативного сигнала должны быть негативными. Во время его первой работы в Facebook команда Compassion показала, что явные социальные хамы часто улучшали