По приказу Гитлера Шпеер разработал проекты зданий рейхсминистерств, гигантской Триумфальной арки, которые должны были стать главными сооружениями в перестроенном Берлине. Шпеер подготовил проект невиданного по размерам здания Великого Зала с гигантским куполом. Правда, Гитлер был обеспокоен тем, что в СССР собирались построить еще более грандиозный Дворец Советов. Поэтому после нападения на Советский Союз, Гитлер, по словам Шпеера, со злорадством заметил, что русским придется отложить сооружение Дворца Советов.

Хотя с начала Второй мировой войны Шпеер занялся строительством зданий для армии и военно-воздушных сил, объем таких работ был не слишком велик: в них было занято 26 тысяч рабочих. Одновременно Шпееру пришлось заняться и восстановлением городских зданий, разрушенных бомбардировками, а также строительством бомбоубежищ.

В то же время Шпеер по-прежнему работал над проектами реконструкции городов Германии, которые обсуждал с ним Гитлер. Более того, в Германии развернулись работы по воплощению этих проектов в жизнь. Шпеер вспоминал, что даже «в середине сентября 1941 г., когда наше наступление в России стало заметно отставать от самоуверенных предсказаний, Гитлер заказал большие партии гранита в Швеции, Норвегии и Финляндии для моих больших берлинских и нюренбергских зданий. Контракты на сумму в 30 миллионов рейхсмарок были заключены с ведущими компаниями камнеобрабатывающей промышленности Норвегии, Финляндии, Италии, Бельгии, Швеции и Дании… Мои предложения о том, чтобы мы прекратили мирное строительства, были отвергнуты, несмотря на то, что признаки катастрофы зимой 1941 г. в России стали очевидными. 29 ноября 1941 г. Гитлер сказал мне: «Строительство должно продолжаться несмотря на то, что война еще идет. Я не позволю, чтобы война помешала осуществить мои планы».

Поэтому в ноябре 1941 г. Шпеер отправился на машине в Лиссабон на открывшуюся там выставку германской архитектуры. Находясь в Португалии, Шпеер узнал про положение на советско-германском фронте. Шпеер писал: «Советские войска в ходе своего отступления систематически уничтожали все паровозные депо, водокачки и другие технические сооружения своих железных дорог. Опьяненные успехами лета и осени, когда казалось, что «русский медведь уже кончен», никто не думал о необходимости принять заблаговременно технические меры в виду надвигавшейся русской зимы… Я предлагал Гитлеру направить 30 тысяч немецких строительных рабочих, которых я нанимал, чтобы они начали ремонтные работы на железных дорогах под руководством инженеров. Невероятно, но потребовалось две недели, прежде чем Гитлер заставил себя отдать соответствующее распоряжение. Лишь 27 декабря 1941 г. он подписал такой приказ».

В тот же день Шпеер встретился с доктором Фрицем Тодтом, министром вооружений и военных поставок. Под его началом была создана «Организация Тодта», которая осуществляла строительство оборонительных сооружений на Западе (так называемый «Западный вал» и верфи для подводных лодок), а также прокладку дорог на всех оккупированных территориях. Тодт только что вернулся с советско-германского фронта. Он с ужасом рассказывал Шпееру про раненых солдат, замерзших в госпитальных вагонах, про войска в занесенных снегами полях. На него произвело сильное впечатление отчаяние немецких солдат. Шпеер писал: «Находясь в сильной депрессии, он пришел к выводу, что мы физически и психологически обречены на разгром в России. «Это борьба, в которой примитивный народ окажется победителем, – продолжал Тодт. «Они могут вынести все, что угодно, включая суровость климата. Мы слишком изнежены и обречены на поражение. В конце концов, победят русские и японцы».

По предложению Тодта Шпеер возглавил проведение восстановительных работ на железных дорогах Украины. Выполняя это задание, Шпеер вылетел 30 января 1942 г. в Днепропетровск вместе с командующим танковым корпусом СС Зеппом Дитрихом. Шпеер вспоминал: «Мы, сгрудившись, сидели в бомбардировщике «Хейнкель», переделанном под пассажирский самолет. Под нами простиралась унылая, покрытая снегом равнина Южной России. На больших фермах мы видели сожженные амбары и сараи. Чтобы не сбиться с пути, мы летели над железнодорожным полотном. Не видно было ни одного поезда; станции были сожжены, депо разрушены. Редко попадались проселочные дороги, но на них не было ни машин, ни повозок. Огромные просторы земли, над которыми мы пролетали, пугали своим смертельным молчанием, которое чувствовалось даже внутри самолета. Только порывы метели вносили разнообразие в монотонность пейзажа, а может быть подчеркивали эту монотонность. Только тут я почувствовал, что означало для армий оказаться отрезанными от снабжения».

С трудом Шпеер и Дитрих добрались до железнодорожных путей, на которых стоял спальный вагон, прицепленный к паровозу. Топка паровоз непрерывно работала и время от времени кочегары выпускали пар внутрь спального вагона, чтобы согреть его обитателей – строителей из организации Тодта. Шпеер писал: «Русские уничтожили всё… Не было ремонтных мастерских, водокачки не были защищены от мороза… Простые вопросы, которые дома можно было решить телефонным звонком, здесь превращались в неразрешимую проблему. Не было даже гвоздей и досок».

«Тем временем снег падал и падал. Железнодорожное и автомобильное движение полностью прекратилось. Посадочную полосу аэропорта замело. Мы были отрезаны. Наш отъезд откладывался. Время заполняли встречами с нашими строительными рабочими… Дитрих выступал с речами и его приветствовали». Однако у Шпеера не нашлось слов для обращения к рабочим. Тогда те стали петь песни. Шпеер вспоминал: «Среди текстов песен, распространенных начальством армейского корпуса, были очень печальные. В них выражалось желание вернуться домой и говорилось о скучных русских степях… Характерно, что это были любимые солдатами песни».

Неожиданно вдали появилась группа советских танков. У собравшихся было достаточно оружия, чтобы отразить их нападение. Однако танки остановились, постояли на месте, а затем, развернувшись, повернули назад. Очевидно, танкисты и не подозревали, что на путях стоял вагон, в котором находилось важное немецкое начальство.

Так как снег основательно завалил аэродром, то всем немцам, включая Шпеера, пришлось лично принять участие в расчистке посадочной полосы наряду с украинскими рабочими. Вдруг один из них подошел к Шпееру и стал тереть ему снегом щеки. Оказалось, что архитектор Гитлера едва их не отморозил. Уже в Нюрнбергской тюрьме Шпеер вспоминал это неожиданное для него проявление человеческого сочувствия со стороны тех, кого Тодт и другие нацисты считали «примитивными людьми».

После недели пребывания в заснеженных степях Украины Шпеер прибыл в восточно-прусскую ставку Гитлера. Фюрер в это время проводил долгое совещание с Тодтом. Сразу после окончания совещания Тодт предложил Шпееру вылететь рано утром в Берлин.

Было уже поздно, когда Гитлер принял Шпеера. Тот рассказал главные события своего приключения в России. Узнав про «печальные песни», Гитлер насторожился. Он потребовал у Шпеера текст песен. Лишь после войны Шпеер узнал, что лица, ответственные за появление и распространение этих песен, были арестованы и преданы военному трибуналу. Беседа с Гитлером закончилась в 3 часа ночи. Шпеер попросил передать Тодту, что не полетит с ним, так как хочет выспаться.