Через несколько дней Шпеер пошел на собрание в «Спортпалаце», на котором выступал Геббельс. Здесь царила другая атмосфера, а главный оратор вел себя по-иному. Шпеер вспоминал: «Много фразеологии, тщательно продуманная структура речи, точные формулировки; ревущая толпа, которую Геббельс взвинчивал до всё больших и больших проявлений энтузиазма и ненависти; настоящий ведьмин котел возбуждения, подобный которому я наблюдал лишь на финише велосипедных гонок. Я почувствовал отвращение. Позитивное воздействие, которое оказал на меня Гитлер, ослабло, хотя и не исчезло».

Казалось бы, Шпеер был выше этих «первобытных страстей». Но вот на его глазах полиция стала разгонять толпу, которая покидала «Спортпалац» и настроение Шпеера моментально поменялось: «С возмущением я наблюдал, как это происходило. До тех пор я никогда не был свидетелем подобных сцен. В тоже время я чувствовал общность с теми, кого разгоняли. Это чувство состояло из симпатии к толпе и оппозиции к власти… На следующий день я подал заявление о вступлении в Национал-социалистическую партию и в январе 1931 г. я получил партийный билет за номером 474 481». Нет сомнения в том, что «интеллектуал» Шпеер, презрительно осуждавший «дикую» толпу, во многом разделял ее настроения.

Говоря о своем «спонтанном» решении, Шпеер писал, что он не ознакомился толком с программными документами нацистской партии. Позже отвечая на вопрос советского следователя в ходе Нюрнбергского процесса, Шпеер признался, что не читал «Майн кампф». Такой ответ ведущего деятеля рейха был столь неожиданным, что следователь расхохотался.

Однако его незнание основ идеологии нацизма, его неприязнь к истерической атмосфере нацистских собраний, перевешивались одним обстоятельством: Шпеер считал, что нацизм является главной силой, способной остановить коммунизм. Шпеер писал: «Главное для меня состояло в том, что я должен был лично сделать выбор между коммунистической Германией и национал-социалистической Германией, так как политический центр, находившийся между этими антиподами, растворялся».

Вступив в партию, Шпеера познакомился с нацистами, которые в дальнейшем заняли видное положение в Третьем рейхе. Таким, например, стал Карл Ханке, будущий гауляйтер Бреслау и министр внутренних дел в правительстве Геббельса.

В 1932 г. Ханке предложил Шпееру переделать здание, в котором размещался берлинский штаб Геббельса. Шпеер успешно справился с этим заданием, и его работа была удостоена похвалы высших деятелей нацистов. А вскоре после прихода нацистов к власти в марте 1933 г. Ханке вызвал Шпеера в Берлин из Мангейма, где в это время работал архитектор. На сей раз Геббельс предложил Шпееру переделать здание, в котором должно было разместиться министерство пропаганды и образования. Это министерство только что возглавил Геббельс.

Во время работы над проектом министерства Шпеер был также привлечен Ханке для оформления массового митинга в Берлине 1 мая 1933 г. Шпеер вспоминал: «Я сделал эскиз большой платформы. За ней располагались три огромных знамени, каждое из которых было выше десятиэтажного дома. Они должны были быть укреплены на деревянных основах. Два знамени были черно-бело-красными, а между ними располагалось знамя со свастикой. (Идея была рискованной: в случае сильного ветра, эти знамена могли превратиться в паруса.) Они должны были быть освещены мощными прожекторами. Эскиз был тут же принят».

В июле 1933 г. Шпееру было поручено украсить поле в Нюрнберге, на котором должен был состояться парад нацистов во время их съезда. На сей раз вместо знамен он предложил водрузить над платформой гигантского орла со свастикой в когтях. Размах крыльев орла был в 30 метров. Шпеер представил свой эскиз лично Гитлеру и тот одобрил его работу.

Осенью 1933 г. Шпеера вместе с другими архитекторами привлекли к работе по переделке здания рейхсканцелярии. Гитлер взял его для осмотра здания, во время которого он долго беседовал со Шпеером. С этой беседы начался почти 12-летний период жизни Шпеера в постоянном общении с Гитлером.

Поскольку карьера архитектора осталась неосуществленной мечтой Гитлера, он принял личное активное участие в переделке рейхсканцелярии. При этом он с живым интересом выслушивал мнение Шпеера и давал ему все новые и новые поручения. Шпеера стали постоянно приглашать на обеды и ужины Гитлера, в которых принимали участие наиболее близкие к нему люди. Вечером после ужина Гитлер и его гости просматривали кинофильмы и часами выслушивали болтливого фюрера. Так, Шпеер вошел в круг приближенных Гитлера и вскоре тот стал брать архитектора с собой в его резиденцию в горах – в Оберзальцберг.

К этому времени ведущим архитектором Третьего рейха считался Пауль Троост, который был сторонником так называемого неоклассического стиля. Отвергая утверждения о чисто германском характере этого стиля, Шпеер ссылался на книгу Джона Буркхарта «Архитектура Америки». Ее автор, указывая на сходство между правительственными зданиями в гитлеровской Германии, рузвельтовских Соединенных Штатах и сталинском Советском Союзе, подчеркивал, что в 30-е гг. не было большой разницы в архитектурных стилях различных стран мира, вне зависимости от их политического строя. Для всех был характерен так называемый «неоклассический» стиль. Шпеер также был верен этому стилю, хотя старался сочетать его с более простым стилем Тессенова.

Смерть Пауля Трооста в августе 1934 г. превратила Шпеера в первого архитектора Германии. Теперь, находясь с Гитлером в Берлине или Оберзальцберге, Шпеер занимался разработкой архитектурных проектов различных государственных учреждений и резиденций высших лиц рейха. Шпеер был создателем нового здания рейхсканцелярии, помещения которой должны были подавлять посетителей своими грандиозными размерами.

Одновременно Шпеер продолжал заниматься оформлением массовых нацистских мероприятий и разработкой архитектурных проектов постоянных мест для их проведения. Именно Шпееру пришла в голову мысль создать необычные световые эффекты в ходе нацистского съезда в Нюрнберге. Шпеер убедил Гитлера передать в его распоряжение 130 противовоздушных прожекторов. Устремленные в небо лучи прожекторов создавали впечатление, по словам английского посла Гендерсона, гигантского «кафедрального собора изо льда».

Шпеер был автором германского павильона на Всемирной выставке в Париже 1937 года. Германский павильон был расположен напротив советского. Шпееру удалось посмотреть хранившийся в тайне эскиз советского павильона, который был увенчан знаменитой статуей В. И. Мухиной «Рабочий и колхозница». Шпеер вспоминал: «Скульптурная пара высотой в десять метров победоносно двигалась по направлению к германскому павильону. Поэтому я создал эскиз кубической массы, которая была поднята на мощные опоры. Казалось, что эта масса останавливает наступление фигур. В то же время на карнизе башни я поставил орла, который держал в когтях свастику. Орел сверху вниз смотрел на русскую скульптуру. Я получил золотую медаль выставки за павильон. Такой же награды удостоились и советские коллеги».

Гитлер так много уделял внимания зодчеству, что адъютанты фюрера просили Шпеера не приносить с собой слишком много архитектурных проектов. Ради них Гитлер забрасывал даже важные государственные дела. Порой он сам набрасывал эскизы отдельных зданий. Увлечение архитектурой усилилось после того, как Гитлер решил полностью перестроить Берлин, а также ряд других городов Германии.