Идею родственного отбора впервые высказал британский биолог Дж. Б. С. Холдейн в 1955 году, но сама теория была разработана несколько позже, в 1964 году, его соотечественником Уильямом Гамильтоном. Он вывел основополагающую формулу, ставшую социобиологическим аналогом «E = mc2», — неравенство rb > c. Оно означает, что частота аллеля альтруизма в популяции повысится, если выгода (b — benefit) для родича, умноженная на степень его родства (r — relatedness) с альтруистом, больше, чем ущерб (c — cost) для альтруиста. Холдейн и Гамильтон понимали r как долю общих, идентичных по происхождению генов у альтруиста и «реципиента» альтруизма. Например, альтруизм возникнет, если выгода для брата или сестры в два раза превышает ущерб для альтруиста (r = ½) или если выгода для кузена или кузины превышает ущерб в 8 раз (r = ⅛). Очень грубый пример: вы способствуете распространению вашего альтруистичного гена, если из альтруистических соображений отказываетесь обзаводиться потомством, но в результате ваших действий у вашей сестры рождается втрое (вчетверо, впятеро и т. д.) больше детей.

Идею родственного отбора лучше всего выразил сам Холдейн:

Я познакомился с гипотезой родственного отбора в 1965 году, когда мне в руки попала вышедшая годом раньше статья Гамильтона. Поначалу я был настроен скептически. В то время нам уже было известно огромное разнообразие вариантов общественной организации у насекомых, однако мы практически ничего не знали о том, как они возникли, и я сомневался, что всю эту сложность можно описать такой наипростейшей формулой, как неравенство Гамильтона. Кроме того, мне трудно было поверить, что на революционный подход в нашей области мог наткнуться новичок, да еще такой молодой, ведь Гамильтону было всего 28 лет — совсем немного для эволюционного биолога. (Мне самому было на тот момент всего 35 лет, но об этом я как-то не подумал.) Однако, внимательно изучив вопрос, я переменил свою точку зрения. Меня пленила оригинальность этой гипотезы, будоражила мысль, что теперь объяснятся многие нерешенные проблемы. Мы с Биллом Гамильтоном стали единомышленниками. В том же 1965 году мы вместе присутствовали на заседании Лондонского королевского энтомологического общества, и я защищал гипотезу родственного отбора перед весьма враждебной аудиторией.

Гамильтон не сомневался в научной значимости своей работы, но был подавлен тем, что его статью о родственном отборе не приняли в качестве диссертации. Во время наших совместных прогулок по Лондону я, как мог, пытался подбодрить его. Я уверял его, что в следующий раз диссертацию обязательно примут и что она окажет большое влияние на развитие нашей области. Я оказался прав по обоим пунктам. Я вернулся в Гарвард, и в последующие несколько лет родственный отбор и совокупная приспособленность заняли видное место в моих книгах «Общества насекомых» (1971), «Социобиология: новый синтез» (1975) и «О природе человека» (1978). В этих трех работах я организовал наши знания об общественном поведении в новую, основанную на популяционной биологии дисциплину. Я назвал ее социобиологией; позже она дала начало еще одной новой дисциплине — эволюционной психологии. Однако в 1960–1970-х годах меня вдохновляла не формула Гамильтона сама по себе, в ее абстрактной форме. Волшебную силу этой формуле придавало блестящее предположение Гамильтона, впоследствии получившее название гаплодиплоидной гипотезы. Гаплодиплоидия — это такой механизм определения пола, когда оплодотворенные яйца становятся самками, а неоплодотворенные — самцами. В результате сестры более тесно связаны друг с другом (r = ¾, то есть три четверти генов у них идентичны по происхождению), чем дочери по отношению к матерям (r = ½, то есть идентична лишь половина генов). У перепончатокрылых, к которым относятся муравьи, пчелы и осы, пол определяется как раз за счет гаплодиплоидии. Поэтому, согласно Гамильтону, общественные колонии — объединения альтруистичных сестер — должны возникать в этом отряде чаще, чем у других насекомых с обычным, диплодиплоидным методом определения пола.

Практически все общественные виды, известные в 1960–1970-х годах, относились к отряду перепончатокрылых и, соответственно, прекрасно укладывались в гаплодиплоидную гипотезу. В научных журналах и учебниках 1970–1980-х годов причинно-следственная связь между гаплодиплоидией и эусоциальностью упоминалась как нечто само собой разумеющееся. Казалось, найден всеобъемлющий принцип, достойный самого Ньютона, ведущий от частного биологического правила к глобальной эволюционной закономерности — распределению эусоциальности в животном мире. Этот прочный базис внушал доверие и к надстройке — социобиологической теории, основанной на главенствующей роли родства.

Однако к 1990-м годам гаплодиплоидная гипотеза начала подводить. Во-первых, с ее помощью невозможно объяснить общественную организацию термитов. Во-вторых, в сферу внимания ученых стало попадать все больше общественных животных с диплодиплоидным способом определения пола. Среди них были один вид жуков-плоскоходов, несколько независимых эволюционных линий раков-щелкунов и две независимые линии голых землекопов. Надежность корреляции между гаплодиплоидией и эусоциальностью упала ниже статистически достоверного уровня. В настоящее время большинство специалистов по общественным насекомым отвергает гаплодиплоидную гипотезу.

Тем временем появились и другие наблюдения, противоречащие основным положениям теории родственного отбора и совокупной приспособленности. Одно из них довольно очевидно: общественный образ жизни возникал в эволюции животных исключительно редко, хотя, если верить теории родственного отбора, предпосылок для перехода к нему было более чем достаточно. Существует множество независимых линий гаплодиплоидных и клональных видов (последние вообще имеют максимально возможную степень родства — r = 1), и у большинства из них не отмечено ни одного случая общественного образа жизни.