30 августа 1721 года был подписан Ништадтский договор, согласно которому между Россией и Швецией устанавливался «вечный, истинный и ненарушенный мир на земле и воде». Завоеванные русским оружием Ингерманландия, часть Карелии, всю Эстляндию и Лифляндию с городами Рига, Ревель, Дерпт, Нарва, Выборг, Кексгольм, островами Эзель и Даго оставались за Россией.

Петр был очень доволен заключенным договором и мастерством своих дипломатов. В 1723 году Андрей Иванович стал сенатором и заменил Шафирова на посту второго лица в дипломатическом ведомстве. Петр I говорил об Остермане, что он никогда не ошибается в министерских делах.

В 1724 году Петр I поручил Остерману «дать приличнейшее образование Коллегии иностранных дел». Тайный советник Остерман, опытнейший дипломат, составил проект нового штата канцелярии и регламента Коллегии. Проект-записка, названная «К сочинению и определению канцелярии Коллегии иностранных дел предложения» – один из лучших составленных Остерманом документов.

По мнению Остермана, служители Коллегии должны быть «умными и в делах уже обученными, и вследствие малолюдства их принуждены будут работать день и ночь, то необходимо им учинить хороший порядок и честное и довольное пропитание. Вместе с тем служителей предлагалось освободить от постоев, так как они занимались секретными делами, ибо “излишняя компания дома к излишним разговорам часто ведет”».

«Предложения» Остермана не были утверждены из-за смерти Петра I. Однако они изучались и использовались при составлении штатов на протяжении всего XVIII столетия.

Императрица Екатерина I, по восшествии на престол в 1725 году, пожаловала его чинами государственного вице-канцлера и действительного тайного советника. С тех пор Остерман вступил в управление иностранными делами и оправдал впоследствии доброе мнение, которое имел о нем покойный император.

В послепетровскую эпоху Остерман превратился в одну из ключевых фигур российской политики. Его отличала фантастическая работоспособность; по отзывам современников, Остерман занимался делами и днем и ночью, и в будни и в праздники. В течение 15 лет он фактически руководил русской внешней политикой.

Благодаря Остерману в 1726 году Россия заключила союзный договор с Австрией, сохранивший свое значение на весь XVIII век, ибо в основе его, согласно идее Остермана, была общность интересов по расчленению Польши, «укрощению» Пруссии и изгнанию турок из Европы.

Новая внешнеполитическая программа России была сформулирована Остерманом в июле – августе 1727 года и развита в письмах к Б.И. Куракину и А.Г. Головкину, русским уполномоченным на Суассонском конгрессе. Основные принципы ее таковы: «убежать от всего», что «могло нас в какое пространство ввести», то есть избегать любых военных столкновений; «освободиться добрым порядком» от имевшихся обязательств в отношении голштинского и мекленбургского дворов, а добившись этого – «возобновить прежнее согласие с дацким»; восстановить прежние дружеские отношения с Англией; короля прусского содержать на своей стороне, ибо, «хотя и вспоможения великого от него ожидать невозможно, однако ж для других соседов пригодится»; с Австрией «оставаться в союзе» для решения турецких и иранских дел, а с другими соседями «искать дружбу и союз». Эта примирительная программа постепенного сближения с Англией и Данией, дальнейшего укрепления русско-австрийского союза при ее реализации позволила бы России укрепить свои позиции на Балтике и в целом в Европе, а также приступить к решению «восточных» проблем.

Дипломатические бумаги Остермана показывают его изощренный ум, умение учесть, взвесить все обстоятельства дела, предусмотреть все негативные последствия политических поступков. Любопытно также, что он никогда не подписывался титулом барона и графа, а всегда просто: Андрей Остерман. Как для руководителя внешней политики, для него было характерно развитое чувство равновесия, расчетливость и – главное – стремление оставить России поле для дипломатического маневра, а соответственно – для самостоятельной политики.

После кончины великого канцлера графа Головкина, последовавшей 20 января 1734 года, граф Остерман вступил в Главное управление иностранным департаментом и в декабре того же года заключил в Санкт-Петербурге с английским резидентом Рондо трактат в 30 статьях о дружбе и взаимной торговле на 15 лет.

В 1736 году императрица объявила войну Порте. Частые нападения крымских татар на российские границы явились тому причиной. Некоторые из российских политиков, и прежде всего граф Остерман, были против этой войны. Он доказывал, что Россия не может извлечь из этого выгод, война приведет к значительным военным потерям и большим финансовым издержкам. Предположения графа Остермана оправдались. Россия, помимо некоторого расширения границ и блистательных успехов оружия своего войска, никакой существенной выгоды от войны с Портой не получила. Война завершилась в 1739 году. Изданный в феврале 1740 года манифест о заключенном с турками мире был сочинен графом Остерманом.

В последние годы царствования Анны Иоанновны (с 1736 года) Остерман редко выезжал из дому, под предлогом, что не мог ходить от сильной подагры.

В 1740 году, после смерти Анны Иоанновны, свержения Бирона, отставки Миниха и установления регентства Анны Леопольдовны, Остерман решил, что наступил его час, и, пользуясь особым доверием правительницы, выдвинулся в руководители государства – фактически стал главой правительства. Эта должность, как и чин высшего морского начальника – генерал-адмирала, полученный Остерманом в 1740 году, была явно не по нему: привыкший действовать незаметно, осторожно плести сети интриг, он не обладал необходимой широтой подхода к государственным проблемам, авторитетом лидера, решительностью и смелостью.

В 1741 году в Россию прибыло персидское посольство, чтобы встретиться с цесаревной Елизаветой Петровной, однако прием не состоялся – Остерман воспрепятствовал этому свиданию. Тогда-то дочь Петра I в ярости велела передать влиятельному министру, что «он забывает, кто я и кто он сам – писец, ставший министром благодаря милости моего отца… Он может быть уверен, что ему ничего не будет прощено».

Получив сведения о готовившемся заговоре Елизаветы Петровны, Остерман не сумел предотвратить его и стал одной из первых жертв переворота – был арестован ночью 25 ноября 1741 года и заключен в Петропавловскую крепость.

Новая императрица, Елизавета, не забыла обиду, нанесенную ей во время визита в Петербург персидского посла. Не простила она Остерману и его попытки укрепить власть правительницы Анны Леопольдовны. В январе 1742 года по приговору суда должна была состояться смертная казнь Остермана. Историк XIX века Д. Бантыш-Каменский писал: «…Солдаты, стащив тогда графа с носилок, положили голову его на плаху, к которой приближась палач и растегнув воротник у рубашки и шлафрока его, оголил шею. Все сие не более минуты продолжалось, как объявили графу Остерману, что императрица переменила смертную казнь его на вечное в Березов заточение. Солдаты подняли тогда графа и посадили снова на носилки. В то время потребовал он, чтобы ему подали парик его и колпак; надел их на голову и застегнул воротник у рубашки и шлафрока, не показав ни малейшей в лице перемены. Великий человек всегда, даже и в несчастье, является великим! В следующий день граф Остерман, мучимый сильной подагрой, отправлен был из Петропавловской крепости в Сибирь. Последние слова его состояли в покорнейшей просьбе, чтобы императрица не оставила милостивым и великодушным покровительством его детей».