Это можно сделать благодаря использованию метода усеченного среднего. Процент – усеченное среднее – это среднее, рассчитанное после исключения крайних верхних и нижних значений процента показаний, относящихся к наборам данных[473]. Например, простое x применение этой идеи заключается в том, чтобы исключить для каждого предложения наиболее высокий и наиболее низкий баллы за качество, данные всеми оценщиками, и затем рассчитать среднее от баллов остальных оценщиков.

Можно пойти дальше и рассчитать медиану баллов за качество, данных всеми оценщиками. Эта медиана представляет балл за качество оценщика «в середине»: половина оценщиков выставляет более высокий балл, чем он, половина – более низкий. Но в отличие от среднего значения, медиана не учитывает посторонних факторов. Поэтому крайняя оценка отдельного необъективного оценщика (который, возможно, был подкуплен) не влияет на медиану.

Таблица 16.1 показывает действие этого альтернативного агрегированного метода. Есть три предложения и семь оценщиков. Оценщики не могут точно измерить объективное качество предложений, поэтому их баллы за качество не совсем точны. Мы моделируем эту ситуацию, добавляя шумы при моделировании баллов за качество, выставляемых оценщиками[474]. Как следует из истинных баллов за качество, предложение А обладает наиболее высоким качеством. Оно также самое дорогое, но оно же является предложением, которое, в соответствии с правилом начисления баллов, должно быть выбрано. Предложение В более низкого качества, но оно также и дешевле. В соответствии с правилом начисления баллов, оно становится вторым. В примере оценщик 1 был подкуплен поставщиками предложения В: он повышает свой балл за качество в отношении В и искажает свой балл за качество в отношении сильнейшего конкурента – предложения А с целью переломить решение в пользу В.

Средние баллы за качество трех предложений при применении среднего арифметического по всем семи оценщикам равны 56,1 для А, 58,1 для В и 48, 4 для С соответственно. Общие баллы равны 56,9, 60,0 и 58,7 соответственно, и, таким образом, выбрано предложение В. Необъективность оценщика 1 нарушила равновесие, достигнутое при оптимальном выборе А. Если бы, однако, агрегированный балл за качество рассчитывался по медиане, а не по среднему значению, то оценщик 1 не смог бы изменить результат, как это видно из таблицы. В этом случае агрегированные баллы за качество равны 58,0, 53,0 и 45,0 соответственно, и предложение А побеждает с общим баллом в 58,4 против 55,9 предложения В.

Таблица 16.1. Среднее агрегирование в сравнении с агрегированием по медиане на торгах с использованием баллов

Мы оценили надежность этого вывода с помощью моделирования методом Монте-Карло[475]. Нам удалось установить, что применительно к выбранным нами параметрам агрегирование баллов за качество с использование среднего арифметического правильно выбирает предложение А только с вероятностью в 23 %. Эта вероятность повысится до 47 % при использовании медианы[476]. Обратной стороной этого, однако, является то, что агрегирование по медиане также приводит с высокой вероятностью к выбору наименее привлекательного предложения С, что, разумеется, нежелательно[477].

Даже если статистический тест недоступен, изучение баллов в табл. 16.1 показывает, что оценщик 1 является подозрительным. В таких условиях очевидным вариантом действий является расследование обстоятельств. Кроме того, возможно запросить второе заключение у независимой группы оценщиков. Расследование может включать опрос оценщиков и, как вариант, проверку их последних банковских операций. Вызвав подозрение, оценщик должен быть занесен в черный список. Более того, второе заключение следует запрашивать произвольно, даже если нет признаков необъективности. Разумеется, в качестве сдерживающего средства следует информировать все вовлеченные стороны о применении такой политики.

Как оказывается, некоторые агентства не фиксируют баллы, выставленные отдельными оценщиками, и их оценочные комиссии сообщают только об общем балле. Разумеется, это скрывает важную информацию, что нецелесообразно.

В некоторых редких случаях относительное качество легко измеряется без проведения сложной оценочной процедуры. В этих случаях можно провести аукцион с использованием баллов по тому же принципу, что и стандартный аукцион с одним параметром, на котором аукционирование по баллам заменяет торги по цене, поэтому все вопросы и рекомендации, помещенные в разделе 16.2, применимы и здесь с небольшой корректировкой.