После письма последовали многочисленные телефонные звонки, в которых бывший король выступал против своей матери, королевы Марии, и его заикающегося брата. Виндзору было скучно и одиноко в своем австрийском убежище, и он завалил его просьбами, требованиями и ненужными советами, как лучше править королевством. Его звонки в Лондон были настолько частыми и длительными, что хозяйка дома, баронесса Ротшильд, шутила, что она не была членом «богатой ветви» семьи и беспокоилась, как ей оплачивать счета. Эдуард также беспокоился о своем финансовом положении, титуле его будущей жены и списке гостей и месте его свадьбы, которая, по его словам, пройдет после коронации в мае. Он хотел большую, грандиозную свадьбу, на которой бы присутствовали обе семьи. Бывшего короля ждало внезапное и жестокое пробуждение.

Напор герцога довел Георга VI до того, что тот потерял терпение и приказал телефонным операторам в Букингемском дворце прекратить автоматически соединять его с герцогом. Вместо этого он послал сэра Уолтера Монктона в Австрию, чтобы тот объяснил новые реалии жизни его брату.

Как тактично записал Уолтер Монктон: «Герцог Виндзорский особенно поспешно принимал решения и хорошо разговаривал по телефону, а король Георг VI был не так быстр и был обеспокоен дефектами своей речи».

Увеличивающийся разрыв между братьями уже не скрывался. Ситуация еще более усугубилась из-за подлых слухов, которые распространяли не только о герцоге, но и о новом короле. Георг VI решил не посещать Имперский дарбар в Индии зимой 1937–38 годов, этот отказ многие, особенно сторонники харизматичного герцога восприняли, как не соответствие своей должности. В обществе, которое после отречения готово было поверить чему угодно, появились слухи, что он так нервничал, что даже не хотел присутствовать на коронации в мае. Масло в огонь подлило и противоречивое выступление по радио архиепископа Кентерберийского Космо Гордона Ланга после отречения, в котором он щедро раскритиковал герцога и его социальный круг, а также обратил внимание на дефект речи нового короля.

В течение последующих нескольких месяцев, несмотря на слова поддержки и утешения Монктона, герцога пресекали на каждом пункте в списке его требований. Герцог чувствовал, что в какой-то момент он сможет вернуться к публичной жизни в Британии и империи только лишь в роли старшего брата, поддерживающего нового короля. В противоположность этому, король и двор видели его и его невесту в качестве угрозы, решение Эдуарда VIII поставить личные желания выше выполнения своего долга перед королевством абсолютно противоречило смыслу монархии.

Хотя герцог решил не жертвовать личной жизнью, он ожидал, что его младший брат, который был не так хорошо готов ни физически, ни умственно для неожиданного восхождения на престол, возьмет на себя тягостную задачу короля.

Королевскую семью также не покидал страх, восходящий еще к средневековью, что старый король ни в коем случае не может быть представлен в хорошем свете. При дворе, включая новую королеву, считали, что он должен оставаться в изгнании, так как он сам добровольно бросился во тьму. Любое преждевременное возвращение будет считаться угрозой новому королю и его порядкам. В Новый год отречение стало единственной темой для разговора королевской семьи.

Придворный библиотекарь Оуэн Моршед вспоминал, как король и королева много размышляли о неординарной личности Эдуарда и его умении очаровывать людей. Он заметил, что королева выразила негласный страх: если он расстанется с миссис Симпсон «будет опасно иметь такую сильную личность, такую притягательную личность, которая шатается и ничего не делает». Хотя премьер-министр Невилл Чемберлен пришел к мнению, что герцогу можно разрешить вернуться в Англию, только значительно уменьшить его королевскую роль, королева была неумолимо против этого. Как вспоминал Уолтер Монктон:

«Она естественно думала, что должна быть настороже, так как герцог Виндзорский, с которого другие братья всегда брали пример, был привлекательной, жизненно важной персоной, которая может объединить всех тех, кто критически относится к новому королю, который внешне был меньше одарен грацией, на которую так приятно смотреть».

Мнение королевы превалировало: на Даунинг-стрит приготовили 64-страничный доклад на тему предлагаемого финансового обеспечения нового герцога Виндзорского, основанный на потенциальных трудностях для короля и королевы, если свежеиспеченная американская герцогиня создаст конкурентный двор, финансируемый из государственного бюджета. Автор сэр Горас Уилсон предупредил:

«Не следует считать, что она отказалась от надежды стать королевой Англии. Известно, что у нее безграничные амбиции, включая желание вмешиваться в политику; она имела связь с нацистским движением и потворствует идее диктаторства».

После долгих раздумий по поводу финансового положения герцога, наконец было решено, что король даст ему ежегодное пособие размером 25 000 фунтов, но при условии: если он решит приехать в Британию без разрешения короля, он потеряет пособие. Это спровоцировало гневное письмо на семь страниц от герцога премьер-министру. Он написал, что это решение было «несправедливым и нетерпимым, так как это равносильно тому, что я буду принимать деньги за то, чтобы оставаться в изгнании». Он «не собирался отказываться от родной земли или права вернуться туда».

Письмо ничего не изменило. Его брат написал ответ, в котором говорилось, что «выплата этого добровольного пособия будет зависеть от того, что он не вернется в страну без согласия короля».

Несмотря на всю горечь и злобу, королевские изгои должны были думать практически и решить, где они будут жить в своем изгнании. Долгое время герцога тешила мысль, что он сможет вернуться в свой любимый Форт-Бельведер и хотя бы на какое-то время оставаться там в тихом уединении. Эта амбиция ни к чему не привела.

Было много разговоров, что они переедут в Соединенные Штаты, герцог в какой-то момент обсуждал вопрос о приобретении недвижимости около Балтимора. Даже президент Рузвельт был втянут в эти догадки. Незадолго до того, как Уоллис и Эдуард решили пожениться, группа рабочих была привлечена к реконструкции Крамуолда, дома Германа Роджерса на реке Гудзон. Все, включая президента, думали, что вскоре у него появится королевский сосед.

Президент направил записку на бланке Белого дома брату Германа, Эдмунду: «Вы, несомненно, слышали местные слухи о том, что 39 сантехников, маляров и плотников готовят дом для герцога Виндзорского и его будущей невесты!» Этот план, однако, ни к чему не привел, какое-то время после их свадьбы королевская пара в основном жила в отеле Meurice в Париже, а потом они наконец арендовали два дома в Париже, а также замок на мысе Антиб на юге Франции.

Пока герцог медленно мирился с реалиями жизни в изгнании, ему и миссис Симпсон пришлось осознать, что их мечта об официальной свадьбе была лишь причудливой идеей. Было совершенно очевидно, что при дворе все были против; их свадьба не появится в «Придворном циркуляре», на ней не будет королевских гостей или других представителей двора, и церковь Англии не позволит епископу или любому другому члену духовенства поженить их. Король даже запретил Луису Маунтбеттену, который был давним другом герцога и которого он назначил своим шафером, посещать свадьбу. Когда их любимая собака Слиппер умерла от укуса ядовитой змеи, они посчитали это предзнаменованием. Королевская кукла вуду работала.