Как и предполагалось, Бернадот оказался слишком честным и самостоятельным для Сиейеса: когда Сиейес стал предпринимать попытки сделать военного министра орудием исполнения своих личных планов, терпение Бернадота лопнуло, и он подал в отставку.

Отставка была оформлена в лучших иезуитских традициях. 14 сентября 1799 года, во время беседы с Бернадотом по поводу организации т. н. Северной армии, Сиейес, наградив его лицемерными комплиментами о заслугах на посту военного министра, сказал с масляной улыбочкой на губах:

— Нас не удивит, что человек с вашими полководческими талантами сохранил желание при уходе из министерства принять командование над какой-либо армией, которое воодушевит вас…

Бернадетт ответил, что после того как он привёл министерство в надлежащий порядок, его лучшей наградой будет возвращение к своим братьям по оружию. Он и понятия не имел, что этот ответ послужил его ходатайством об отставке. Уже на следующее утро он получил от Сиейеса следующее послание:

"Гражданин министр!

В связи с вашим так часто высказываемым пожеланием вернуться к военной деятельности исполнительная Директория решила назначить на ваше место другого военного министра. Портфель военного министра подлежит временной передаче дивизионному генералу Миле-Мюро. Сдайте ему все дела. Директория с удовольствием примет вас в то время, пока вы будете находиться в Париже, чтобы обсудить с вами всё, что касается командования армией, вам определённой. Сивиес, президент".

Самое удивительное было в том, что на письме была сделана резолюция: "Ходатайство гражданина генерала Бернадота об отставке с поста военного министра настоящим удовлетворяется".

В своём ответном письме Сиейесу он так и написал: "Вы удовлетворили ходатайство об отставке, которое я не подавал". Письмо заключалось прошением о предоставлении военной пенсии, в которой он, как и в поправлении здоровья, сильно нуждался. Ответ Сиейеса был сформулирован ещё более издевательски: "В связи с письмом дивизионного генерала гражданина Бернадота от 29 фрюктидора, в котором он ходатайствует об уходе на пенсию по сокращению штатов, сообщаем о том, что гражданину Бернадоту назначается полагающаяся ему пенсия". Оказывается, Бернадот попросил уволить его с работы по сокращению штатов! В полемику с Сиейесом и Директорией он больше не ввязывался.

В один день республика лишилась способного министра и талантливого военачальника. Обратимся теперь к собственному отчёту Бернадота, который он представил правительству перед своим уходом с поста. Он начинает его с изложения своего кредо: "Обязанность отчитываться перед нацией издавна тяжело давалась слугам государства, но она становится наградой для того чиновника, который является гражданином". После изложения всех трудностей, которые переживала страна и армия в момент его прихода в министерство, Бернадот переходит к перечислению своих скромных "результатов, которые наши враги назвали чудом, которому мы, однако, нисколько не удивляемся", потому что "рождённый, так сказать, в горниле сражений и воспитанный освободительными войнами, я только чувствовал, как мои силы растут вместе с опасностями и победами".

В первую очередь он уделил внимание вопросам снабжения армий продовольствием, амуницией и вооружением. В этих целях он обратился непосредственно к гражданам, апеллируя к их сердцам и патриотизму. "Власти, которые в начале так усердно эксплуатировали моральные средства, со временем забыли о них", — пишет Бернадот с горечью. Прославленному генералу, на собственной шкуре испытавшему и разделившему вместе с солдатами все тяготы войны, люди поверили, в результате, пишет министр, в армию влились около 90 тысяч новобранцев, из которых половина людей сразу была экипирована, накормлена и хорошо вооружена. Он добился набора 40 тысяч лошадей, из которых 15 тысяч попали в ремонт, т. е. поступили непосредственно в кавалерию.

Результаты, пишет Бернадот, не замедлили сказаться: Голландию удалось спасти, левый берег Рейна защитили от нападения противника, русских из Гельвеции прогнали, Дунайская армия стала одерживать победы, европейская коалиция стала распадаться.

Но бывший министр был далёк от того, чтобы приписывать себе все заслуги за достигнутые результаты."Некоторые республиканцы считают, что моральная сила, которую я вдохнул в нашу армию, не могла не оказать решающего влияния на блестящие результаты, которые были достигнуты сразу после моей отставки из министерства и увенчали завершение военной кампании, — читаем мы далее в отчёте. — Я, однако, далёк от того, чтобы разделять это мнение… Министры, несомненно, выполняют свой долг, когда им удаётся накормить, одеть и вооружить армию и осуществить меры, способствующие её успехам, но я с удовольствием и торжественно заявляю: прежде чем честь выигрывать сражения приписывать министрам, её надо отдать: 1) благородным солдатам, жертвующим в боях своей жизнью и 2) бесстрашным генералам, способным воспламенить и направить их мужество".

Увольнение Бернадота из военного министерства вызвало бурю удивления и возмущения в Совете пятисот. Выразить сочувствие уволенному генералу и министру пришли члены Директории Гойе и Мулен — Сиейес "сварганил" его отставку без их согласия и ведома!

— Ну что: сделали самый помпезный визит к Бернадоту? — встретил их Сиейес.

— Самый помпезный, на какой только мы были способны, — ответил Гойе.

Бернадот устранился от всей общественной жизни и уехал с женой и новорождённым сыном в деревню. На какое-то время он погрузился в патриархальную тишину своей добровольной ссылки, в семейные дела, чтение книг, прогулки. Когда придёт время и его позовут обратно, он снова вернётся к людям в Париж. А пока он время от времени показывался в политических салонах, включая салон свояка Жозефа Бонапарта, и на приёмах у Люсьена Бонапарта. Он даже встретился с известной мадам Ж. Сталь, которая потом сказала, что Бернадот был единственным французским генералом, который соединял в себе качества государственного деятеля с талантом полководца. Он заходил в салон мадам Жюли Рекамье и встречался там с такими известными лицами, как Бенжамин Констант и Рене де Шатобриан. Супруга Дезире долгое время гостила у старшей сестры Жюли в имении Жозефа Бонапарта Мортефонтэн под Парижем и сопровождала её на воды в Пломбьер и Виши, а маленький красавчик Оскар играл с двумя дочерьми Люсьена Бонапарта.

Причины отставки Бернадота на самом деле были очень основательными: готовился военный переворот, и Бернадот как военный министр и приверженец республиканского порядка и конституции мог оказаться серьёзной помехой на пути претворения планов заговорщиков в жизнь. Франция неуклонно двигалась к тому рубежу, на котором, по предсказанию Екатерины II, должен был появиться другой Чингисхан или Тамерлан и подавить революцию.