Другим примером в экономике является измерение инфляции. Оно основано на изучении цен на определенный набор товаров и услуг, называемых потребительской корзиной (которой в природе, конечно, не существует), и отслеживании изменений средней цены на эту корзину с течением времени. Однако из-за существования темных данных (DD-тип 8: неверно определяемые данные) все обстоит не так уж просто. Например, возникает вопрос о том, как рассчитать среднее значение, поскольку в статистике есть несколько способов сделать это: среднее арифметическое, среднее геометрическое, среднее гармоническое и т. д. Недавно Великобритания перешла от индекса инфляции, основанном на среднем арифметическом, к индексу на основе среднего геометрического, что привело его в соответствие с индексами большинства других стран. Когда меняется определение, вы начинаете смотреть на вещи с другой точки зрения, поэтому меняются и аспекты данных, которые вы видите.

Помимо изменения формулы расчета, бывают и более фундаментальные причины, по которым темные данные возникают в индексах инфляции: прежде чем производить расчет, необходимо решить, какие товары и услуги включать в потребительскую корзину и как именно получать информацию о ценах. В целом, как показали предыдущие примеры, мы должны осознавать риск появления темных данных всякий раз, когда в процессе сбора данных встаем перед выбором. При расчете инфляции важнейший вопрос – что положить в потребительскую корзину – потенциально проблематичен, поскольку общество меняется, а индексы инфляции должны так или иначе отражать стоимость жизни. Я намеренно использовал выражение «так или иначе», чтобы подчеркнуть неоднозначный факт: разные индексы измеряют разные аспекты влияния инфляции. Одни измеряют то, как ценовые изменения влияют на людей, другие – как они влияют на экономику в целом и т. д. В любом случае важно, чтобы потребительская корзина была релевантной, то есть состояла из товаров и услуг, которые люди действительно покупают. Для сравнения представим, что могло быть включено в корзину индекса цен 200 лет назад, и сопоставим с тем, что входит в нее сегодня. Два столетия назад свечи были бы важнейшим элементом корзины, но сегодня расходы на них далеки от того, чтобы счесть их значимыми. Свечи и уголь уступили место мобильным телефонам и автомобилям. Это означает, что у нас есть номинальный список товаров, которые в принципе могут быть включены в корзину, но не все из них в нее попадают. Несмотря на глубокое продумывание того, какие именно товары следует учитывать, ясно, что при расчете инфляционных индексов всегда остается элемент неопределенности и произвола.

Что касается того, как получать информацию о ценах на товары в корзине, то традиционно для этого принято проводить опросы и направлять сборщиков данных непосредственно в магазины и на рынки. Бюро трудовой статистики США обследует таким образом около 23 000 предприятий и регистрирует цены около 80 000 предметов потребления каждый месяц, суммируя их, чтобы получить индекс потребительских цен. Другие страны используют аналогичный подход.

Возможно, вы заметили, что этот традиционный метод сбора ценовых данных полностью игнорирует покупки онлайн. Учитывая, что на такие покупки в настоящее время приходится уже около 17 % розничных продаж в Великобритании[44] и почти 10 % розничных продаж в США[45], становится ясно, что многие релевантные цены никак не учитываются в индексе. (Стоит отметить, что последние цифры действительны на момент написания книги, в то время как тенденция стремительно нарастает.) По этой причине многие страны начали разрабатывать методы учета цен в интернете. Эти методы не являются копией традиционных, потому что корзины в том и другом случае отличаются. Мы увидим пример такого метода в главе 10.

Общество меняется непрерывно, а сегодня это происходит куда быстрее, чем когда-либо в прошлом, поскольку компьютер и сопутствующие ему технологии – мониторинг, глубинный анализ данных, искусственный интеллект, автоматизированные транзакции и глобальная сеть – оказывают все большее влияние. Такая скорость изменений имеет важные последствия для анализа информации с точки зрения темных данных, поскольку прогнозы всегда строятся на том, что случалось в прошлом. Последовательности данных во времени в науке называют временными рядами. Скорость изменения методов и технологий сбора данных означает, что временные ряды часто ограничены весьма недавним прошлым. Новые типы данных потому и называются «новые», что они имеют недолгую историю и доступны лишь за относительно короткий период времени. За пределами же его лежит тьма.

Наборы данных всегда конечны. Это, безусловно, верно с точки зрения количества случаев – конечного числа людей в популяции или конечного числа измеряемых событий. Но это верно и с позиции того, что измеряется или какие данные собираются. Изучая людей, мы можем определять их возраст, вес, рост, квалификацию, любимую еду, доход и множество других вещей. Однако всегда будет оставаться бесчисленное множество характеристик, не включенных в наши определения. Эти характеристики неизбежно становятся темными данными со всеми вытекающими последствиями.

Причинность

Когда демографические исследования показали связь между раком легких и курением, выдающийся статистик Рональд Фишер отметил, что это необязательно означает, что курение вызывает рак. Он привел несколько возможных причин возникновения такой связи явлений, в том числе вероятность того, что и рак легких, и предрасположенность к курению могут быть вызваны каким-то третьим общим фактором, например на генетическом уровне. Здесь мы имеем дело с классическим примером темных данных DD-тип 5: неизвестный определяющий фактор – некоторой неизмеренной переменной, которая служит причиной и того и другого и даже приводит к корреляции между ними, при этом сами по себе изучаемые явления непосредственно не влияют друг на друга. Этот пример показывает, насколько сложно бывает обнаружить темные данные.

Мы уже сталкивались с подобной ситуацией в начале книги. В главе 1 я говорил, что в раннем школьном возрасте рост детей соотносится с их лексическим запасом. Если вы проведете исследование выборки детей в возрасте от 5 до 10 лет, измеряя их рост и объем словаря, то обнаружите, что у тех, кто повыше, в среднем и словарный запас больше. Из этого напрашивается вывод: если давать детям больше новых слов, они лучше растут. Можно пойти еще дальше и провести второе исследование, измеряя рост детей в начале и в конце года, в течение которого они интенсивно осваивают новые слова. Результаты будут впечатляющими – рост детей увеличится.

Конечно, это шутка, и вы понимаете абсурдность подобных выводов. Хотя рост и словарный запас детей в указанном возрастном диапазоне, безусловно, взаимосвязаны, эта связь не носит причинно-следственного характера. Дело в том, что оба параметра зависят от третьей переменной – той, которую мы не планировали измерять в нашем исследовании, а именно от возраста детей. Возраст в этом примере является темными данными, его незнание может привести к ложным выводам.