Послание пришлось некстати — Анна обиделась. «Ты подаешь мне письмо с советами, как будто молодых лет государю», — заявила она автору. Однако положение министра не пошатнулось. Герцог же явно был недоволен его независимостью и влиянием на императрицу. Артемий Петрович жаловался, что Бирон «пред прежним гораздо запальчивее стал и при кабинетных докладах государыне… больше других на него гневался; потрафить на его нрав невозможно, временем показывает себя милостивым, а иногда и очами не смотрит». «Ныне пришло наше житье хуже собаки!» — сокрушался Волынский, заявляя, что «иноземцы перед ним преимущество имеют». У нетерпеливого кабинет-министра не всегда хватало умения приспособиться к «стилю руководства» и влиянию Бирона на Анну; он горячился, в раздражении заявлял, что «резолюции от нее никакой не добьешься и ныне у нас герцог что захочет, то и делает».

Между тем в доме Волынского кипела работа по созданию «генерального рассуждения». Именно осенью 1739-го — зимой 1740 года его влияние достигло максимума: он удалил из Кабинета своего недоброжелателя Яковлева, поставил вопрос о разделении Кабинета на экспедиции; был утвержден проект создания конных заводов на церковных землях. 3 марта 1740 года указ императрицы назначил шестерых новых членов Сената: М.И. Леонтьева, М.С. Хрущова, И.И. Бахметева, П.М. Шилова, Н.И. Румянцева и М.И. Философова. К тому времени число сенаторов уменьшилось, и эта акция соответствовала намерениям Волынского расширить состав учреждения.

Ни рассердившая Анну Иоанновну записка Волынского, ни скандал с побоями Тредиаковского в «апартаментах» Бирона не лишили Артемия Петровича доверия императрицы. Но меньше чем через месяц ситуация изменилась — в конце марта ему внезапно был запрещен приезд ко двору. Такие придворные «конъюнктуры» обычно не отражаются в казенных бумагах; можно лишь предположить, что трагический поворот судьбы министра был вызван объединением его противников — Бирона и Остермана.

Кажется, именно Андрей Иванович стал организатором «искоренения» соперника. В 1741 году, после восшествия на престол Елизаветы Петровны и своего ареста, Остерман поначалу отрицал какое-либо отношение к «делу» Волынского — заявлял, что сам о том «не старался», а осудила виновного «учрежденная на то особливая комиссия». Но скоро в бумагах вице-канцлера обнаружились поданное императрице «мнение» о необходимости «отрешить отдел» и арестовать Волынского, а также «мнение и прожект ко внушению на имя императрицы Анны, каким бы образом сначала с Волынским поступить, его арестовать и об нем в каких персонах и в какой силе комиссию определить, где между прочими и тайный советник Неплюев в ту комиссию включен; чем оную начать, какие его к погублению вины состоят и кого еще под арест побрать; и ему, Волынскому, вопросные пункты учинены». На прямой вопрос следователя: «Для чего ты Волынского так старался искоренить?» — Остерман 15 декабря 1741 года ответил вполне определенно: «Что он к погублению Волынского старание прилагал, в том он виноват и погрешил». Он признал и назначение следователем своего «приятеля» Неплюева, «ибо оной Волынский против меня подымался». Изгнанный в свое время Волынским из Кабинета секретарь Андрей Яковлев тогда же показал, что Остерман пригласил его к себе и предложил подать челобитную на Волынского, что он и исполнил.

Возможно, именно Остерману удалось убедить придворное общество в том, что пресловутое письмо Волынского летом 1739 года и его последующие действия направлены против герцога Курляндского, благо Артемий Петрович нигде не упоминал имен. Фаворит и так уже не без основания видел в министре соперника. Дворецкий Волынского Василий Кубанец вспоминал, как барин передавал ему слова обиженного герцога: «Ты де по часу шепчешь со всемилостивейшею государынею». К тому же Волынский уже несколько раз в Кабинете вставал поперек дороги фавориту, а неудача со сватовством сына и случай с Тредиаковским могли окончательно вывести из себя Бирона, обладавшего вспыльчивым и крутым характером. Кажется, эта интрига удалась; во всяком случае близкие ко двору фельдмаршал Миних и его адъютант Манштейн были убеждены, что Волынский подал императрице записку, в которой «взводил разные обвинения на герцога Курляндского и на другие близкие императрице лица. Он старался выставить герцога в подозрительном свете и склонял императрицу удалить его».

Кажется, последней каплей, переполнившей чашу терпения императорского фаворита, стал описанный французским послом маркизом де Шетарди и неизвестным русским автором «Замечаний» на записки Манштейна конфликт. В ответ на просьбу польского посла Огинского о возмещении убытков, причиненных шляхте проходившими по территории Речи Посполитой русскими войсками, герцог изъявил согласие, а Волынский, напротив, подал письменное мнение о недопустимости подобных уступок, на которые его оппонент мог пойти из «личных интересов» (герцог Курляндии являлся вассалом польского короля). Произошло публичное объяснение, и взбешенный Бирон заявил, что ему «не возможно служить ее величеству вместе с людьми, возводящими на него такую клевету», после чего Волынскому был запрещен приезд ко двору, что отметил Шетарди в депеше от 29 марта 1740 года. Этот инцидент изображен на картине В.И. Якоби « А.П. Волынский на заседании Кабинета министров» (1875): Артемий Петрович разрывает бумагу с польскими претензиями, а среди испуганных присутствующих за ним пристально наблюдают коварный Остерман и спрятавшийся за ширмой Бирон.

Показания «клиентов» Волынского говорят о том, что весной 1740 года они ловили каждый слух о судьбе «патрона», противостоявшего фавориту. Взятый следствием 20 апреля асессор Василий Смирнов признался, что говорил Гладкову: «Когда де уже кабинет министра герцог сшибет, то де уже и протчим как стоять». Он же рассказал и о том, что Артемий Петрович будто бы прямо во дворце схватился за шпагу, «и ежели бы де не фамилия и не дети ево Волынского, то б де он Волынской его светлость заколол». Первоисточник этой «информации» следователи так и не обнаружили, но выяснили, что опасные разговоры вели и другие — архитектор Иван Бланк, инспектор Петр Арнардер, подмастерье Илья Сурмин, какой-то так и не найденный «учитель».

Будучи отлученным от двора, министр пока продолжал исполнять свои обязанности: последнюю бумагу, направленную из Кабинета в Штате контору, он подписал 31 марта. Судя по черновым журналам Кабинета, «господа кабинет министры» (так обозначали Волынского и Черкасского при отсутствовавшем в марте Остермане) заседали 4 апреля; потом последовал перерыв, и 15-го на работе был уже только Черкасский.

Фавориту оказалось нелегко получить санкцию государыни на расправу с Волынским. Миних утверждал, что «сам был свидетелем, как императрица громко плакала, когда Бирон в раздражении угрожал покинуть ее, если она не пожертвует ему Волынским и другими», а секретарь Артемия Петровича Василий Гладков показал на следствии, что слышал от асессора Смирнова, как Бирон, стоя перед Анной Иоанновной на коленях, говорил: «Либо ему быть, либо мне». Государыню подталкивали к возложению опалы на Волынского и другие вельможи. Как докладывал саксонский посланник Зум 9 апреля 1740 года, давний противник Артемия Петровича обер-шталмейстер Куракин пытался внушить Анне, что ее дядя Петр I «застал Волынского уже на такой скверной дороге, что накинул ему петлю на шею». «Волынский, — убеждал придворный императрицу, — с тех пор стал еще хуже; следовательно, если ваше величество не затянете петли и не повесите негодяя, то мне кажется, что в этом отношении желание и намерение великого государя не будет выполнено».