Дадли славился при дворе королевы Елизаветы I разнообразными дорогими нарядами, в которых он появлялся, поражая воображение окружающих. Это был в полном смысле блестящий придворный кавалер, да ещё и известный как фаворит королевы.

Мечтая о женитьбе на королеве, представляя себя влюблённым в неё, Дадли в то же время не ограничивал себя в выборе других женщин. Так, в ту пору, когда он, вроде бы страстно влюблённый, тайно навещал томящуюся в замке Хэтфилд-хаус принцессу Елизавету Тюдор, женился на Эмме Робсарт, объясняя этот поступок тем, что боялся навлечь на себя подозрения Марии I Тюдор в близости с Елизаветой. Вряд ли такой поступок и такое объяснение могли понравиться хоть одной женщине в мире. А Елизавета терпела и страдала, но смирялась, чтобы не потерять его окончательно.

В 1560 году, летом, заболела жена Роберта Дадли — Эми Робсарт. Елизавета и Роберт стали строить планы на будущее, потому что королева пообещала своему любимому, что если Эми умрёт, то она выйдет за него замуж. Но планы эти были расстроены слухами о том, что Дадли хочет отравить свою супругу, чтобы жениться на Елизавете. 8 сентября 1560 года Эми Робсарт скончалась, причём при довольно туманных обстоятельствах. Женитьба опять оказалась невозможной, потому что она как бы подтверждала слухи о желании Дадли убить свою жену с целью женитьбы на королеве, а это, считала Елизавета, было опасно для короны. Чтобы выглядеть беспристрастной, Елизавета назначила тщательное расследование обстоятельств смерти Эми. Оно было проведено и показало, что Эми погибла в результате несчастного случая. Но английское общество долго еще обсуждало вопрос о намеренном убийстве «надоевшей и мешавшей жены».

Чтобы не быть причастной к этому трагическому случаю, королева на время отдалила от себя злополучного фаворита и отказалась даровать ему титул графа, который давно уже обещала тщеславному любимцу, имеющему титул герцога, но желающему получить еще и более высокий титул графа. Она разорвала уже подготовленный указ о даровании титула графа герцогу Дадли на том основании, что, по её словам, сказанным вслух в присутствии придворных, «нельзя доверять тому, у кого в роду два поколения изменников». Однако её подлинное отношение к Роберту Дадли было совсем другим, и оно проявилось осенью 1562 года, когда она заболела оспой и ни у кого: ни у придворных, ни у членов Тайного Совета, — уже не было надежды на её выздоровление. На просьбу членов Тайного Совета указать имя преемника, лорда-протектора королевства, Елизавета назвала, ко всеобщему удивлению, не своего кузена Томаса Говарда, 4-го герцога Норфолк, который по статусу должен был занимать эту должность, а Роберта Дадли. Однако дело обошлось без скандала: королева Елизавета выздоровела.

Постоянная игра королевы со своим фаворитом в их страстной, но странной платонической любви продолжалась всё время, пока Роберт Дадли был жив. В конце 1563 года, ревнуя Дадли к Марии Стюарт, да, видимо, и испытывая его стремление стать королём, Елизавета объявила, что она желает его женить на королеве шотландской Марии Стюарт. В связи с этим предстоящим, но, конечно, затянувшимся, а затем и не состоявшимся событием, только 6 сентября 1564 года Роберт Дадли, наконец, получил титул графа Лестера, который ему был пожалован как бы в связи с намечавшимся его браком с Марией Стюарт.

Принимая участие в игре с Елизаветой, Дадли, встав в позу отставного фаворита, стал ухаживать за Летицией Ноллис (Ноуллз), которая внешне была похожа на Елизавету, может быть, потому, что она была двоюродной племянницей Елизаветы со стороны её матери Анны Болейн. В результате этого лёгкого флирта Роберт Лестер тайно от королевы и двора женился на Летиции Нол-лис, в замужестве графини Эссекс, вдове Уолтера д'Эвре, графа Эссекс. В 1578 году посланник герцога Франциска Анжуйского открыл Елизавете I эту тайну. Разумеется, гнев королевы был уже не шуточным: Легация была сослана подальше от Лондона, а незадачливый фаворит, поступок которого был расценён как предательство, получил хороший нагоняй, вплоть до того, что ему было обещано заключение в Тауэр. Впоследствии, вспомня, что Легация была рядом с ней в тяжелые дни заточения, королева смилостивилась над своей бывшей фрейлиной и вернула ей своё расположение. А Лестер легко сумел доказать влюблённой в него женщине, что всё это «козни против него и гнусная клевета».

Но у галантного красавца графа Лестера, кроме жён, были и другие женщины. Тому свидетельство появление на свет сэра Роберта Дадли, незаконнорожденного мальчика от связи с леди Даглас Шеффилд. Однако это было обычным явлением при королевском дворе, где процветал пышным цветом фаворитизм с его безнравственностью, и потому никого из придворных подобное событие не удивило.

В 1572 году, как повествует предание, граф Лестер женился еще раз, тоже тайно, на вдове богатого английского барона Дугласа Говарда. Однако при дворе утаить ничего было нельзя, слухи дошли до Елизаветы, и она заставила Лестера развестись с его женой.

Через четыре века после происходивших событий, не зная всех существовавших тогда обстоятельств и отношения к королеве и Лестеру со стороны их окружения, невозможно даже предположить, почему Роберт Дадли, граф Лестер, оставался при королеве в течение почти всей своей сознательной жизни, фактически вплоть до своей смерти. Он предстаёт перед нами как персона не менее загадочная, чем его возлюбленная королева, страстно его любившая, но остававшаяся девственницей, притом в условиях всеобщей безнравственности фаворитизма, после далеко не безупречного царствования Марии I, её сводной сестры. Да, она не хотела ни с кем, даже с любимым Дадли, делить королевскую власть, но никто не мог помешать ей и осудить её, если бы она поделила с ним ложе. Видимо, это был её принцип, выделивший Елизавету Английскую из ряда других королев.

Трудно ответить и на вопрос почему Лестер, неоднократно женившись и имея других женщин, предположительно не любя Елизавету, продолжал вести с ней любовный флирт в течение такого продолжительного времени? Надеясь всё же стать королём или боясь потерять голову на плахе? В первом случае у него было достаточно времени, чтобы убедиться, что Елизавета никогда ни с кем не разделит власть, даже с ним, которого любит страстно, как наваждение. А во втором случае он столько раз вызывал её гнев и её слёзы, но всё сходило ему с рук, так что вполне можно было быть спокойным за свою жизнь.

Как фаворит, он не только получал от королевы щедрые дары: сначала звание и должность конюшего, орден Подвязки, самый высокий орден Англии, затем титул графа, несколько подаренных ему замков, дорогие подарки. Королева возвела его в должность смотрителя её резиденции в Виндзоре, что дало возможность им часто видеться. Ему было доверено влиять на придворный мир, быть советником королевы, особенно в деле назначения на должности, а когда Англия в 1585 году вступила в войну, причиной которой были события в Нидерландах, граф Лестер возглавил английские войска и одержал несколько побед. Однако его излишнее тщеславие и непродуманность последствий позволили ему принять предложение голландцев стать генерал-губернатором Республики Соединённых провинций Нидерландов, а это могло быть расценено как государственная измена. За долгие годы общения с королевой Лестер выработал много рецептов избавления от гнева Елизаветы и успешно пользовался ими. А так как оказалось, что принятие им предложения голландцев могло привести к конфликту с Испанией, а затем к долгой войне с нею, он притворился больным и тем самым избежал королевского гнева. Однако избежать войны с Испанией не удалось: её спровоцировал своими флибустьерскими рейдами и грабежом знаменитый пират на службе у английской короны — Френсис Дрейк.