Перед Маргаритой опять встал нелегкий выбор: чтобы кормить детей, надо было выходить на работу, а для этого надо было куда-то пристроить сыновей. Соседи того времени вспоминали Маргариту Освальд как человека несколько нелюдимого, однако хорошую мать, заботившуюся о своем потомстве.

В декабре 1941 года, когда США вступили во Вторую мировую войну, Маргарита Освальд отдала своих старших сыновей в детский дом, содержавшийся евангелической церковью. Вспоследствие многие исследователи трактовали этот шаг как отсутствие у матери будущего убийцы президента какой-либо любви к своим детям. Детский дом описывался чуть ли не как сиротский приют. На самом деле Маргарита обязалась ежемесячно переводить на содержание обоих сыновей 20 долларов и предоставлять им одежду и обувь. Условия содержания были хорошие (сами сыновья потом говорили, что им нравилось в доме), а мать навещала их каждый выходной. В целом можно сказать, что дом представлял собой нечто вроде советского детского сада продленного дня. Младшего сына Ли в дом не взяли, так как в январе 1942 года ему еще не было положенных трех лет.

Маргарита немедленно вышла на работу в качестве телефонистки. Ли она отдала на попечение своей сестры Лилиан, у которой было пятеро собственных детей. Лилиан описывала Ли как добродушного спокойного мальчика, однако она не могла уделять ему много внимания: было достаточно собственных забот. Поражало Лилиан и то, что маленький Ли мог ночью незаметно выскользнуть из дома и его находили на кухне у соседей. В общем, она не испытывала особого восторга от племянника и постоянно говорила Маргарите, чтобы она забрала его.

Маргарите пришлось временно оставлять сына под присмотром соседей, причем она оплачивала их услуги. Те потом говорили, что Ли был капризным, чуть ли не злобным ребенком. Однако Маргарита утверждала, что супруги Роуч били мальчика, и, заметив следы такого «воспитания», она немедленно забрала его от них. Пришлось вновь сменить квартиру, переехав поближе к Лилиан, которая снова стала присматривать за маленьким Ли. Однако сестра опять постоянно просила Маргариту забрать ребенка, и в декабре 1942 года Ли Харви Освальда приняли в тот же детский дом, где жили его братья. Мать обязалась вносить за него 10 долларов ежемесячно. Как только у Маргариты появлялось свободное время, она на несколько дней забирала детей к себе.

Летом 1943 года жизнь Маргариты Освальд стала налаживаться. Она поступила на работу в магазин менеджером, и хозяин поначалу был очень доволен новой сотрудницей. Она была опрятной, привлекательной и умела убедить покупателя приобрести товар. Однако у Маргариты были нелады с математикой, и карьеры не получилось. Правда, просвет появился на личном фронте. Маргарита стала встречаться с инженером Эдвином Экдалом, который был старше ее и представлялся солидной партией. Экдал познакомился с детьми, и, похоже, они понравились друг другу.

В январе 1944 года Маргарита и Эдвин решили пожениться. Маргарита сразу забрала детей из детского дома и переехала с ними в техасский город Даллас, куда вскоре должны были перевести по работе ее будущего мужа. Характерно, что «плохая мать», как характеризовали Маргариту многие исследователи, настояла на отсрочке бракосочетания, чтобы дать ребятам возможность окончить школьный год в детском доме. Но и в это время ей хватало забот. У Экдала, по роковому совпадению, тоже обнаружились проблемы с сердцем. Маргарита стала всерьез сомневаться, стоит ли ей рисковать, вступая в новый брак. На оставшиеся от продажи своего первого дома деньги она купила в Далласе дом, часть которого сдавала.

Сыновья вернулись летом из Нового Орлеана и в сентябре пошли в нормальную далласскую школу. Экдал навещал семью по выходным, продолжая лелеять надежду на брак. Наконец, в 1945 году Маргарита преодолела свои сомнения и вышла замуж в третий и последний раз. Похоже, что большой любви на этот раз не было. Маргариту скорее прельщал доход будущего супруга. В феврале 1945 года она безуспешно попыталась вернуть детей в детский дом, мотивируя свою просьбу тем, что ей придется много путешествовать с мужем. В мае 1945 года Маргарита Освальд стала Маргаритой Экдал. Как выяснилось, ненадолго.

Экдал ладил с детьми, и маленький Ли признавал в нем отца. Однако инженеру действительно пришлось много ездить в командировки, и старших сыновей отдали в военную школу (отдаленно напоминавшую советское суворовское училище). Причем Маргарита внесла сумму за их обучение из своих собственных сбережений. Она же настояла, чтобы Ли остался в семье. Возможно, по этой причине и начал разваливаться ее последний брак. Экдал чувствовал, что младшего сына его жена любит гораздо больше мужа. Маргарита всячески баловала ребенка. Однако это вряд ли может вызвать удивление, если учесть, что Ли никогда не видел отца, а мать долгое время не могла уделить сыну достаточно внимания.

Осенью 1945 года Ли пошел в школу (в Америке учебу начинают с 6 лет), причем мать дала ложные сведения о его дате рождения (9 июля 1939), чтобы удовлетворить формальным критериям. Заметим, что потом Ли Харви Освальд не раз будет вольно обращаться с фактами своей биографии, видимо, навсегда запомнив материнский урок.

А Маргарита, не прожив с новым мужем и года, уже снова оказалась на грани развода. Памятуя свою нелегкую жизнь, она требовала у мужа, чтобы они распоряжались деньгами совместно. Тот отказывался. Ли тяжело переживал ссоры родитилей и очень радовался, когда они мирились. Но Маргарита стала подозревать мужа еще и в неверности, а этого она, считавшая себя умной и эффектной женщиной, не простила бы никому.

Летом 1946 года, забрав старших сыновей из военной школы, Маргарита переехала в город Ковингтон, штат Луизиана. На соседей неполная семья производила впечатление счастливой. Ли не любил играть со сверстниками и предпочитал одиночество. Собственно, до этого при частых переездах у него никогда и не было времени научиться дружить. В то же время своих братьев он очень любил, стремился им во всем подражать и старался проводить с ними как можно больше времени. Однако те были гораздо старше и у них были свои, еще непонятные маленькому Ли интересы. К тому же старших сыновей Маргарита опять отдала в школу-интернат. А вот Ли учился в обычной школе и успевал хорошо: у него были одни «пятерки» и «четверки». Однако первый класс он закончить не успел, так как в январе 1947 года его родители помирились и опять переехали в Техас, в город Форт-Уорт, неподалеку от Далласа (сейчас эти два города фактически слились в единый мегаполис).

Там Ли закончил первый класс, причем оценки уже были похуже: в основном одни «четверки», только по физкультуре мальчик получил «отлично». Второй класс он толком не успел и начать, так как родители снова поссорились.

«Добрые» соседи сообщили Маргарите Экдал, что ее супруг жил с другой женщиной, пока она была в Луизиане. Подсказали и адрес. Дальше события развивались как в анекдоте. Однажды, когда муж по идее должен был находиться в командировке за пределами города, Маргарита вместе со старшим сыном Джоном и его друзьями пришла к дому своей соперницы. Один из мальчиков представился почтальоном, и им открыли дверь. Ворвавшись в дом, Маргарита обнаружила своего мужа (правда, одетого, хотя и в рубашке с закатанными рукавами) и даму в пеньюаре.