Толстой продолжал служить и посещать собрания общества до апреля 1823 г., когда по состоянию здоровья испросил у начальства годичный отпуск для лечения больной ноги и уехал в Париж. Толстой стал вести с 1824 г. в академическом издании «Ревю энциклопедии» постоянную колонку, посвященную русской литературе и искусству. По меткому выражению П. Вяземского, «Толстой в 20-е гг. был генеральным консулом по русской литературе во Франции». Он одним из первых перевел на французский Пушкина, открыл для европейцев талант Крылова, познакомил их с творчеством А.С. Грибоедова и А.А. Бестужева-Марлинского.

Декабрьские события 1825 г. не могли не коснуться Якова Толстого. Его имя попало в следственные бумаги в списках членов тайных обществ. И весной 1826 г. он получил предписание вернуться в Россию. Толстой отказался и был уволен со службы в конце 1826 г., потеряв все права на армейскую пенсию и дворянские привилегии. Для него начался самый тяжелый период его жизни. Лишенный средств к существованию, перестав получать деньги из России, он жил литературным трудом.

С середины 1820-х гг. в Париже стали публиковаться антирусские памфлеты, принижавшие не только существовавшее в России правление, но и ее историю, и национальные черты. Толстой неоднократно выступал на страницах французской печати в защиту престижа своего Отечества, благородства русского воина.

Уже в 1827 г. он вновь получил возможность печатать свои статьи в либеральном «Московском телеграфе». Но только в 1833 г. полуголодная жизнь Толстого изменилась к лучшему. Толчком к переменам послужило появление в Париже 25-летнего князя Элима Петровича Мещерского, который был направлен на должность корреспондента Министерства народного просвещения. Круг его служебных обязанностей, помимо изучения системы образования и общего состояния наук в Европе, включал в себя также анализ местной политической жизни и оценку состояния прессы. Его донесения направлялись не только министру народного просвещения С.С. Уварову, но и главному начальнику III отделения Собственной Е.И.В. канцелерии А.Х. Бенкендорфу. Для своей работы Мещерский привлек Толстою, который был тогда, вероятно, лучшим российским экспертом по Франции.

В 1836 г. Бенкендорф подал доклад царю «о желательности использования Якова Толстого в сношениях с французскими журналистами». Царь утвердил это решение, приказав послу России во Франции графу Петру Петровичу Палену выплатить Толстому 10 тысяч рублей из посольских средств для того, чтобы тот смог расплатиться с многочисленными кредиторами.

Сам Толстой прекрасно понимал подлинный смысл своей предстоящей работы и сформулировал свои задачи в Записке, отправленной в Петербург. В частности, Толстой предложил план подкупа наиболее влиятельных французских изданий того време-ни — «Газетг де Франс», «Котидьенн», «Пресс», «Франс», «Кроник де Пари» — для обеспечения в них русофильского направления. Кроме этого, он предлагал учредить в Париже на подставное лицо издание, которое было бы негласным рупором русской политики. По его подсчетам, расходы на его создание в начальный период не превышали бы 50 тысяч франков, а затем оно могло бы стать самоокупаемым, располагая эксклюзивными материалами из русской жизни. Кроме этого Толстой предлагал послать корреспондента этого издания в Варшаву для проведения операций содействия политике Российской империи в Польше. По-видимому, идеи Толстого встретили одобрение в Петербурге, куда он прибыл после долгих лет отсутствия в январе 1837 г.

После продолжительной беседы с А.Х. Бенкендорфом шеф III отделения решил вопрос с Уваровым о принятии на службу в Министерство народного просвещения парижским корреспондентом Толстого вместо Мещерского. Было определено, что жалованье Толстого в Париже составит 3800 рублей в год, которые будут переводиться из III отделения через Министерство просвещения.

В октябре 1837 г. Толстой вернулся в Париж и приступил к исполнению своих обязанностей.

Корреспонденция Толстого из Парижа была обнаружена в архиве III отделения уже после 1917 г. Помимо регулярных обзоров европейской прессы и годовых отчетов она включает также рапорты и памятные записки, освещающие его разведывательную деятельность во Франции.

В частности, Толстой разработал план размещения в авторитетных французских изданиях, чьих редакторов он мог бы подкупить, специально подготавливаемых в России официальных позитивных материалов о ее политическом и социальном положении.

В 1838 г. Яков Толстой начал негласно выплачивать постоянную денежную дотацию целому ряду редакций французских печатных органов. Кроме этого ему удалось привлечь к сотрудничеству отдельных известных журналистов, которым он выплачивал разовые вознаграждения за конкретные публикации. К концу года Толстой приобрел такого авторитетного агента, как редактор газеты «Пресс» Эмиль де Жирарден. В обмен на разрешение распространять эту газету в России, которое Толстой получил в Петербурге, это издание начало активную кампанию против деятельности в Париже революционеров-эмигрантов из Польши, ведущих направленную агитацию против Российской империи.

В феврале 1848 г., когда во Франции началась революция, о приближении которой Толстой писал с 1844 г., ему пришлось срочно покинуть Париж и перебраться в Брюссель. Однако, когда схлынула первая волна революционной активности, оказалось, что в министерства и парламент Франции пришли многие прежние друзья и помощники Толстого, прежде всего из просветительских и газетных кругов. Поэтому в марте 1848 г. Толстой вернулся в Париж и снова развил активную деятельность. Он почти ежедневно направлял в Россию информацию — краткие шифрованные послания с посольской почтой через посла Киселева и пространные отчеты через Брюссель, где он успел наладить запасной канал связи, поскольку его собственная корреспонденция из Парижа перлюстрировалась.

Уже в марте 1848 г. Толстой отправил в Россию подробный список членов нового республиканского правительства, приложив пространные описания их личных качеств и политических амбиций. Такие же материалы он выслал по расстановке политических сил в парламенте. В сентябре 1848 г., когда Россия планировала военные действия в Венгрии по подавлению разгоравшейся там революции, Толстой через своих агентов в Военном министерстве сумел достать и переслать в Россию полный обзор по французской армии, включавший ее численный состав и размещение — до батальона включительно, а также вооружение, материальную часть, политические настроения и бюджетные затраты на ее финансирование. Полученная от него информация помогла военному министру графу Чернышеву четко спланировать предстоящие военно-политические акции в Венгрии.

В декабре 1848 г. во Франции состоялись президентские выборы, на которых победил внучатый племянник Наполеона Луи-Наполеон Бонапарт. Еще за два месяца до выборов Толстой, оперируя имеющейся у него парламентской информацией, спрогнозировал победу Наполеона, выслав в Петербург подробное описание его политической программы и предвыборной стратегии.

Начиная с марта 1850 г. Толстой стал посылать тревожные сообщения о росте русофобии в Великобритании, озабоченной усилением русских позиций в Азии. В письме от 27 марта 1850 г. он впервые упомянул о намерениях англичан «уничтожить русский флот и сжечь Севастополь». Однако сменивший А.Х. Бенкендорфа новый шеф тайной полиции граф А.Ф. Орлов мало интересовался анализом международного положения, идущим от Толстого.