Наши исследования GRE-тестов и другие подобные данные указывают на необходимость получения дополнительной информации о валидности тестов – помимо той, что обычно приводится в технических руководствах. Нужны более универсальные критерии, а также данные о валидности тестов для различных групп людей и различных ситуаций. Часто подразумевается, что, раз тесты работают для одной группы, они будут работать и для других, хотя на практике можно наблюдать обратное.

При оценке тестов их издатели и потребители уделяют пристальное внимание еще одной характеристике. Речь идет о надежности (достоверности), которая определяет, насколько устойчиво тест измеряет то, для чего он предназначен. Другими словами, если тест выполняется один раз, а затем еще раз, будут ли совпадать результаты?

Многие из распространенных тестов достаточно надежны – в противном случае они бы и не завоевали такую популярность. Но здесь речь идет об усредненных показателях. Встречаются люди, результаты которых флуктуируют в умеренных пределах, а есть и такие, у которых разбежки от теста к тесту могут быть значительными. Так, например, с помощью специальных пособий и курсов подготовки многим удается улучшать результаты выполнения таких тестов, как SAT и GRE, или других аналогичных конкурсных тестов.

В связи с доступностью таких книг и курсов, а также с учетом того, что они позволяют в среднем заметно повышать показатели тестирования, возникает вопрос о равноправии. Как быть с теми, кто не знает о существовании таких курсов, кто не может себе их позволить или у кого нет на них времени? Безусловно, издатели тестов будут настаивать, что даваемые книгами и курсами преимущества не так уж велики. В среднем, конечно, нет. Но для отдельных людей они существенны, а что более важно, когда речь идет о миллионах решений, принимаемых в течение года по результатам миллионов тестов, даже очень маленькие различия приведут в среднем к весьма впечатляющим последствиям. Для некоторых соответствующая книга или курсы могут сыграть важную роль, и ввиду неравноправного доступа к ним результаты тестирования для различных людей не могут интерпретироваться единым образом. Поэтому общая надежность тестов призвана нивелировать подобные нежелательные последствия неравноправия.

Издатели также отдают предпочтение таким тестам, в которых отдельные задания конкретного субтеста измеряют примерно одну и ту же характеристику. Они даже приводят статистические данные, демонстрирующие однородность различных элементов субтеста по отношению к измеряемой характеристике. Хотя за такую согласованность результатов приходится расплачиваться. Чем больше элементов теста измеряют одно и то же, тем меньше диапазон проводимых измерений. Другими словами, согласованность достигается за счет широты охвата. Узость используемых тестов, похоже, мало кого волнует; но тесты ведь действительно очень ограничены! Мы имеем надежные хорошие измерения пассивного интеллекта. Но как использовать результаты этих измерений?

Тесты используются так же, как это описывает принцип Гейзенберга: прибор, проводящий измерения, сам влияет на оцениваемые характеристики. Например, в нашем обществе те, кто находится на верхних ступеньках социальной лестницы, – юристы, врачи, бизнесмены, профессоры колледжей – имеют, как правило, более высокие IQ, чем те, кто занимает нижние ступеньки этой лестницы, – поденщики, уборщики, дворники. Таким образом, IQ связан с занимаемым положением, но является ли он причиной достижения этого положения?

Здесь важно уметь отличать причинно-следственную связь от простой корреляции. Известно, например, что большинство населения Нигерии имеет черный цвет кожи, а большинство жителей Норвегии – белый. Однако вы же не сделаете вывод о том, что проживание в Нигерии делает кожу человека черной, а жизнь в Норвегии, соответственно, белой. Вот вам пример, что корреляция не всегда является причиной. При установлении корреляции следует иметь в виду, что имеются по крайней мере три возможные ее причины. Предположим, имеется корреляция между двумя вещами, например измеренным интеллектом и занимаемым служебным положением. Из соображений общности назовем их «фактор Х» и «фактор У». Возможно, фактор Х вызывает фактор У; возможно, фактор У вызывает фактор Х; но не исключено, что существует фактор более высокого порядка, который является причиной для них обоих.

Таким образом, корреляция между IQ и занимаемым рабочим местом может быть связана с тремя различными механизмами. Именно благодаря высокому IQ человек может получить более престижную работу – это вполне вероятно. Или более хорошее рабочее место может способствовать повышению IQ, что, в свою очередь, также справедливо. Хорошая работа позволяет тренировать интеллектуальные способности, что в результате ведет к совершенствованию интеллекта и повышению IQ. Но может быть и высокий IQ, и хорошая работа обусловлены некоторыми другими факторами. Но что это тогда за факторы?

Рассмотрим ситуацию в Соединенных Штатах. Для того чтобы поступить на юридический факультет, необходимо пройти юридическое тестирование (LSAT); чтобы поступить на факультет бизнеса, необходимо пройти соответствующее бизнес-тестирование (GMAT); чтобы поступить на медицинский факультет, необходимо пройти тестирование на знание медицины (MCAT); чтобы поступить в аспирантуру, необходимо выполнить соответствующие тесты для аспирантов (GRE или MAT). Для поступления в аспирантуру на специальности с высоким конкурсом необходимо набрать определенный результат на вступительном тестировании. Аналогичная процедура приема практикуется в престижных колледжах и частных школах.

Так какова же связь между приведенными фактами и корреляцией между IQ и занимаемым рабочим местом? Обычные тесты оценки интеллектуальности связаны со всеми этими тестами на приемных экзаменах, равно как последние взаимосвязаны друг с другом – несмотря на различные названия все они измеряют практически одни и те же способности. Использование незначительных вариаций названий и содержания тестов может оказаться прибыльным бизнесом, но все эти манипуляции слабо сказываются на конечных результатах. Те, кто хорошо справляется с одним из тестов, как правило, не имеет проблем и с остальными.

Предположим, что кто-то по тем или иным причинам испытывает трудности с тестированием. Возможно, этот человек обладает выдающими творческими способностями, но у него проблемы с аналитическим мышлением. Возможно, речь идет о человеке с незаурядной практической сметкой и замечательным здравым смыслом, который в то же время достаточно беспомощен на абстрактном, академическом уровне. Возможна и боязнь тестирования – подобное в свое время было со мной. Или, скажем, человек вырос в семье, где говорили по-испански, по-французски или по-вьетнамски, и его английский язык оставляет желать лучшего. А может быть, английский его родной язык, но, поскольку родители этого человека были вынуждены оба работать, ему в детстве мало читали и редко с ним разговаривали, что сказалось на вербальном интеллекте. Можно назвать множество причин, в связи с которыми у людей могут быть проблемы с тестированием.

Если такой человек захочет пройти по конкурсу в аспирантуру (что дает своего рода пропуск на престижное рабочее место), можно сказать, что ему не повезло, поскольку практически все учебные заведения в рамках выбранной им специальности требуют прохождения практически одного и того же теста. Решив получить образование, такой человек рискует постоянно оказываться перед запертой дверью. В конечном итоге он имеет все шансы опуститься на нижние ступеньки профессиональной лестницы. Сравним теперь таких людей с теми, кто без проблем справляется с тестами. Возможно, у последних и не так уж много талантов, но среди них есть умение набирать при тестировании большое количество очков, которые позволяют получать образование по выбранной ими специальности. Возможно, им окажутся не по силам наиболее сложные программы обучения, но шансы получить приемлемое образование у них все-таки выше. А это образование позволит, в свою очередь, приобрести и более престижную профессию.