всем мире математика была не на стороне Facebook. Даже если компания отбрасывала все, на чем говорит менее 10 миллионов человек, это оставляло более ста языков в резерве. Независимо от ресурсов Facebook, создание классификаторов для такого количества языков - не говоря уже о хороших классификаторах - не представлялось возможным. Каждый новый язык требовал глубокого культурного контекста, машинного обучения и регулярного обновления. Когда в группу безопасности Facebook обратились правозащитники, предупреждавшие о грядущей катастрофе в Мьянме, они не то чтобы не поверили им. Дело было в том, что их предупреждали о надвигающейся катастрофе в десятках стран, о которых компания мало что знала. Они не могли отличить настоящие тревоги от ложных.

Макнелли, который пришел в компанию после окончания первой волны этнических чисток и незадолго до начала второй, назвал это провалом в понимании. "Facebook сделал в Мьянме то же самое, что и в любой другой стране - все, что, по мнению модели, понравится пользователям и чем они будут делиться, будет возвращено им", - сказал Макнелли. "Отличие в том, что люди, распространяющие дезинформацию, были представителями истеблишмента. Если большинство решает преследовать меньшинство на платформе, основанной на популярности, большинство побеждает".

Работа по предотвращению дальнейшего насилия была разделена между командой McNally's News Feed Integrity и командой Civic, которая выделила специальных сотрудников для наведения порядка на платформе в Мьянме и, в идеале, предотвращения следующего подобного инцидента в других местах. Чакрабарти сказал своей команде, что его инструкции от руководства сводятся к "Делайте то, что нужно".

Система, доставшаяся Сивику в наследство, была позорной. Классификаторы, необходимые для определения того, какой контент поддерживает политическое насилие, были грубыми или вовсе отсутствовали, а техническая слабость бирманской системы отчетов пользователей Facebook означала, что рецензенты могли увидеть посты, отмеченные как разжигающие ненависть, только после двадцатичетырехчасовой задержки. Когда же контент все же просматривался, то зачастую людьми, которые его не понимали. "Перевод Google на бирманский нечитаем", - заметил один из участников.

Civic приступила к работе. Они начали систематически удалять посты пользователей, которые неоднократно нарушали стандарты сообщества Facebook, и создали систему, которая не позволяла сомнительным пользователям появляться в рекомендациях друзей. Они снизили уровень доверия, которого должны были достичь классификаторы Facebook, чтобы удалить контент, и начали создавать "Зеленый фонарь" - самообучающийся алгоритм, который определял вариации ругательств и слова, которые использовались как синонимы запрещенной лексики.

Facebook предпринял последнее действие. Она прекратила субсидирование телекоммуникаций, благодаря которому использование Facebook в Мьянме было бесплатным. Компания была так близка к тому, чтобы признать, что ее продукт не всегда стоит общественных затрат.

У Facebook хватило ума понять, что Мьянма вряд ли будет единичным случаем и что подобные инструменты понадобятся ей снова. По настоянию Чакрабарти и Макнелли компания создала новую команду для работы со "Странами риска", или ARC. Никто никогда не уточнял, чем именно они рискуют, но критерии были очевидны. Чтобы получить статус "Страны риска", страна должна была иметь историю насилия, потенциальный триггер для будущего конфликта, например предстоящие выборы, и высокий уровень проникновения Facebook на рынок. Другими словами, этот статус был зарезервирован для мест, где продукты Facebook могли бы стать причиной геноцида или гражданской войны или усугубить их.

Причисление страны к "группе риска" давало ей шанс получить мониторинг , защиту безопасности и инженерные работы сверх того, что могло бы оправдать ее стратегическое значение для Facebook. С точки зрения бизнеса, у Facebook не было причин обращать внимание на такие страны, как Мьянма или Шри-Ланка, но с точки зрения гуманности и потенциального репутационного ущерба они выглядели более значительными.

Команда Civic, которой было поручено заниматься ARC, была разделена на тех, кто стремился изучить и предсказать обстоятельства, при которых Facebook может быть использован не по назначению, и тех, чьей задачей было разработать инструменты для предотвращения этого. Команда никогда не была огромной - несколько десятков сотрудников на пике своей деятельности, - но в итоге она сыграла огромную роль в создании более широкой защиты компании от дезинформации и языка ненависти. Привлеченная для разрешения кризиса за кризисом, команда смогла экспериментировать с мерами, выходящими за рамки обычной программы действий Facebook.

Со временем они создали библиотеку из десятков готовых изменений, которые стали известны как меры "Разбить стекло", с такими техническими названиями, как "PL7", "PE2" и "P50 Sigmoid Demotion". Некоторые из них были простыми изменениями, которые устанавливали более строгие правила, чем те, которые обычно регулировали платформу. Другие были "выключателями" для конкретных функций продукта, которые, как известно, имели хронические проблемы с целостностью, например групповые рекомендации. Самые агрессивные вмешательства в корне меняли механику Facebook так, как компания не применяла даже в кризисных ситуациях. (Негипотетический пример: если вы когда-нибудь зайдете на платформу и обнаружите, что Facebook намеренно отключил содержимое новостной ленты, за исключением сообщений от ваших ближайших друзей, можно с уверенностью сказать, что многие люди умрут).

Самая сильная сторона команды ARC заключалась в том, что никому не было дела до того, чем она занимается. Страны, на которые она ориентировалась, считались практически несущественными в политическом и коммерческом плане, а забота команды по вопросам государственной политики сводилась к пожеланию, чтобы они не создавали проблем. "Джоэла волновали четыре места: США, Европа, Индия и Израиль", - сказал один из бывших членов его команды. (Представитель компании опроверг эту характеристику, заявив, что Каплан много ездил за границу).

В результате вопросы, к которым Facebook подходил как к вопросу абсолютного принципа на развитых рынках, в других местах становились вопросами прагматизма. Автоматически закрывать полные ненависти темы комментариев? Ни единого шанса в США. Но, в крайнем случае, это можно было бы временно внедрить перед выборами в Кении. В Мьянме компания в конце концов создала программу проверки фактов, но при этом дала старшему руководителю отдела общественной политики в Сингапуре право в одностороннем порядке удалять контент, который казался сомнительным и подстрекательским - такой подход был гораздо эффективнее, чем ждать, пока сторонние партнеры просмотрят сомнительный пост, объяснят, почему он ложный, и отправят его через системы Facebook. Это также было очевидным нарушением давнего требования Цукерберга о том, чтобы сотрудники не определяли истинность контента на Facebook.

Дополнительная свобода действий, предоставленная команде ARC, имела свои пределы. Цукерберг и команда по ранжированию ленты новостей были непреклонны в том, что статус "В опасности" должен быть временным. Компания не хотела раздваивать свои системы на постоянной основе. И даже в случае со "Странами риска" наиболее эффективные меры были припасены для периодов необычайно высокого риска. Это были небольшие рынки, но в