Баденской, родной сестре Елизаветы – жены Великого князя Александра Павловича, в котором императрица видела своего преемника. Этот шаг Алексея привел к еще большему отчуждению между ним и царственной матерью.

В 1783 г. Бобринской в чине гвардейского поручика был отправлен за границу. Путешествуя по Европе, он проявил себя наблюдательным и думающим человеком, о чем, к примеру, свидетельствуют его высказывания из записной книжки, среди которых читаем: «При тех нравах, которые мы имеем в Европе, деньги должны, в конце концов, узурпировать абсолютную власть». В своей записной книжке Алексей Григорьевич делал весьма дельные пометки, касавшиеся медицины, астрономии и метеорологии, геодезии и минералогии, ювелирного дела, химии и ботаники, финансов и управления государством, военного дела. «Он покупает многочисленные карты частей света, коллекционирует древние манускрипты, интересуется вопросами изменения границ государств, учит наизусть стихи, читает философов, интересуется всем таинственным и даже бывает у колдунов», – пишет граф Николай Николаевич Бобринской.

В то же время в Париже и Лондоне Алексей вел самую беспорядочную жизнь, был неразборчив в амурах, проиграл в карты десятки тысяч ливров, что вызывало тревогу зарубежных корреспондентов Екатерины. Одному из них, барону Гримму императрица писала: «Все, что вы пишете мне об известном молодом человеке, меня не удивляет. Он происходит от очень странных людей и во многом уродился в них».

Когда «странности» сына материализовались в огромные карточные долги, Екатерина II немедленно приказала ему вернуться в Россию. Весной 1788 г. Бобринской приехал в Ригу, где ему было повелено безвыездно жить в Остзейском крае, а новым опекуном Алексея был назначен граф П.В. Завадовский. В 1790 г. государыня утешила сына чином бригадира. Она все еще надеялась ввести Алексея в семью европейских монархов, обвенчав его с принцессой Баденской. Огромный дворец в Бобриках, кажется, и был выстроен для августейшей особы. Но горячая натура бастарда, изнывавшего в ссылке, нашла применение в амурных похождениях, чему способствовал и наследственный темперамент. По семейным преданиям Бобринских, он имел дочь Улиту от крестьянки и некоего Соловьева, сына, служившего у него поваром, а затем бывшего мундкохом (главным поваром) при Высочайшем дворе. Другой его побочный сын, Райкб (или Бобриков) в 1806 году учился в Санкт-Петербургском педагогическом институте и дружил с князем Петром Андреевичем Вяземским, которого познакомил с творчеством Парни.

Николай Алексеевич Райкб (1794–1854), третий внебрачный сын Алексея Григорьевича, впоследствии знаменитый шелковод, внешне удивительно походил на Александра I – своего двоюродного брата, что давало повод для светских пересудов.

Расставшись с фаворитками, Бобринской решил остепениться, женившись на четвертой дочери ревельского коменданта Вольмара-Конрада барона Унгерна фон Штернберг Анне-Доротее (Анне Владимировне; 1769–1846). Древний остзейский род Унгернов восходил к Гансу фон Унгерну, служившего в 1269 году вассалом рижского архиепископа. Родители фройлен никак не соглашались на этот союз, но Анна настояла на своем. «Бобринской, живучи в Ревеле, часто ездил к Унгерн-Штернбергам в их имение Кирну, где влюбился в Анну Владимировну, – вспоминала знакомая семьи барона. – Родители долго не соглашались на ее брак, полагая, что Екатерине он будет не угоден и что у нее в виду женить Бобринского на какой-нибудь немецкой принцессе. Не желая частых посещений Бобринского, хозяева Кирны нарочно откладывали час обеда, чтоб он удалился. "Садитесь кушать, – однажды сказал им Бобринской, – а я залезу под стол и подожду"».

Императрица скрепя сердце была вынуждена дать согласие на этот брак. «Каждый женится для себя», – заметила государыня. В 1794 году Екатерина II купила для сына замок Обер-Пален в Лифляндии и одобрила брак с Анной, заключенный в Ревеле 16 января 1796 г. В метрической книге 1796 года города Ревеля Преображенского собора значится: «От армии бригадир Алексей Григорьевич Бобринский, отрок, Ревельского умершего дворянина Вольдемара Унгерн-Штернберга с дочерью его родною Анною, содержащею Лютеранской закон, оба первым браком, повенчаны 16-го числа Генваря 1796 года. Поручителями были по женихе: вице-адмирал и кавалер Алексей Мусин-Пушкин. По невесте: генерал-поручик Иван Кохиус; сверх поручителей засвидетельствовал генерал-провиантмейстер лейтенант князь Александр Вяземский». Вскоре императрица вызвала молодых в Петербург для благословения. По преданию, она спросила Анну Владимировну: «И вы не побоялись выйти замуж за этого вертопраха?»

Брак оказался счастливым, принес пятерых детей и был скреплен дополнительными узами родства: родной брат Анны барон Бернгард (Борис Владимирович) Унгерн фон Штернберг женился на племяннице Бобринского – графине Наталии Федоровне Буксгевден. Их сын, барон Федор Борисович Унгерн фон Штернберг служил управляющим в Богородицком имении Бобринских и в 1837 году принимал там Высочайших особ: Великого Князя Александра Николаевича (будущего Александра II) и затем Великую Княгиню Елену Павловну.

Судьба Бобринского внезапно круто изменилась после смерти Екатерины, когда его брат решил обратить тайные благодеяния матери Алексею в явные свои милости.

На пятый день по смерти Екатерины II новый император Павел I вызвал Бобринского из Ревеля и тут же, 12 ноября 1796 года сделал его генерал-майором и графом Российской империи, наградил единоутробного брата орденом Св. Анны 1-й степени, подарил ему в Петербурге на Галерной улице дом и 25 тысяч душ. Император объявил в Сенате Бобринского своим братом и представил его, как родственника, членам Царской фамилии. Павел повелел «находившиеся в особом ведомстве вотчины в Тульской губернии волости Бобриковскую и Богородицкую, за исключением в последней устроенного уездного города» всемилостивейше отдать в вечное и потомственное владение бригадиру графу Алексею Бобринскому.

«Правда, получил Алексей Григорьевич далеко не все, что ему причиталось, – утверждает историк М.В. Петрова. – Он так и не узнал, например, о существовании голландских облигаций на сумму 180 тысяч рублей, выкупленных для него матерью буквально в последние дни ее жизни. Огромное гдовское имение (24 тысячи душ), приобретенное Екатериной для семейства Бобринских в связи с рождением у них первенца, Павел передал Алексею лишь через полгода после своего воцарения, причем урезав его аж в 60 раз. Наконец, многомиллионный капитал, переведенный Екатериной для младшего сына в Английский банк, так и остался синей птицей, которую Бобринские пытаются поймать вот уже два века».

Девятилетняя прибалтийская ссылка Алексея Григорьевича закончилась. Новоиспеченный граф, осыпанный неожиданными для него наградами и милостями, вскоре вышел в отставку. Обитал в столице и в своих вотчинах Тульской губернии, Богородицке и Бобриках. Здесь он мог жить спокойной, размеренной жизнью в кругу семьи, предаваясь любимым занятиям. Еще в корпусе Бобринской начал собирать книги, и это увлечение осталось на всю жизнь. Немало книг графа хранилось в Обер-Палене, который он, по свидетельству его правнука Льва, предпочитал своим тульским вотчинам. В Богородицке он изучал минералогию, собрал большую библиотеку, завел собственный оркестр и сам выучился играть на скрипке. Он потерял своего первенца Алексея (9.10.1796-20.07.1797). Но затем в семье Бобринских появилось еще четверо детей: Мария (30 января 1798 г.), Алексей (6 января 1800 г.), Павел (27 января 1801 г.) и Василий (13 января 1804 г.). Трое детей, очевидно, получили имена людей, которых граф считал своими благодетелями: императора Павла, императрицы Марии Федоровны и Василия Григорьевича Шкурина, смерть которого в свое время Алексей Григорьевич искренне оплакивал.