Продолжавшаяся политика антикварных распродаж, вульгаризация научно-экспозиционной работы, сокращение музейных площадей в Кремле и, наконец, варварское разрушение кремлевских монастырей потребовали колоссального напряжения сил от сотрудников музея для сохранения ценностей. Несмотря на это продолжается активная научная работа и в 1925 году издается первый сборник научных трудов сотрудников музея. К 1929 г. практически готов так и не вышедший в свет второй сборник.

Искусственно созданное объединение оказалось не долговечным. В 1926 году был ликвидирован Музей мебели. Его коллекции передавались в разные учреждения. В апреле 1928 года Музей фарфора и Музей игрушки получают финансовую самостоятельность и практически выходят из объединения, однако официально Объединенный музей был реорганизован только в июле 1929 года.

Во второй половине 1929 года ситуация в музее становится чрезвычайно напряженной. С 1 декабря 1929 года освобождается от занимаемой должности директор музея Д.Д. Иванов.

1930-е годы были трагическими в истории музея. Увольняются почти все ведущие научные сотрудники, часть из них подвергается репрессиям. В 1934 году по так называемому «Кремлевскому делу» был арестован заместитель директора по научной работе В.К. Клейн. После увольнения Д.Д. Иванова на должность директора музея один за другим назначаются люди, не имевшие ни образования, ни навыка музейной работы. Научная работа в музее практически замирает. Доступ экскурсантов в музей, находящийся на закрытой территории Кремля, крайне ограничен, однако работы по реэкспозиции музейных залов в духе новой идеологии продолжались.

В марте 1932 года Государственная Оружейная палата из Наркомпроса передается в ведение Комитета по заведованию учеными и учебными учреждениями при ЦИК СССР. Утверждается новый сокращенный штат и структура музея. Филиал Оружейной палаты Дом боярина XVII века передается в Исторический музей. В июле 1933 года к Оружейной палате присоединяется мемориальный кабинет В.И. Ленина.

В составе Управления комендатуры Московского Кремля музей практически теряет свою самостоятельность как учреждение культуры. Отсутствие квалифицированных музейных специалистов, прерванные контакты с музейной общественностью, затрудненный доступ экскурсантов превращают музей в хранилище экспонатов.

В марте 1939 года директором Государственной Оружейной палаты был назначен Николай Никитович Захаров. Инженер по образованию, он также, как и его предшественники – директора 1930-х годов, не имел никакого опыта музейной работы. Но его добросовестность, стремление освоить новую профессию помогли ему успешно руководить работой сотрудников музея в очень не простой период его истории. В 1938–1939 годах в музее работает Комиссия по учету музейного имущества и материальных ценностей Государственной Оружейной палаты и Памятников Кремля. Она отмечает ряд недостатков в постановке учета и хранения. Под руководством Н.Н.Захарова в 1940 году начинается работа по составлению новых учетных документов.

В июне 1941 года работа была прервана Великой Отечественной войной. Сотрудники музея, при активной помощи со стороны Коменданта Кремля генерала Н.К. Спиридонова, спешно упаковали и летом 1941 года эвакуировали сокровища кремлевского музея в Свердловск. В период эвакуации продолжалась начатая еще перед войной работа по созданию единой охранной описи всех коллекций музея.

Из эвакуации вещи были возвращены 20 февраля 1945 года, а уже в апреле была открыта первая после войны экспозиция музея.

В первый день войны допуск в Кремль немногочисленных экскурсантов с утра был прекращен, а 23 июня по распоряжению коменданта Московского Кремля Николая Кирилловича Спиридонова коллектив музея – директор Н.Н. Захаров, контролер Е.А. Ефимов, научный работник Н.В. Гордеев, экскурсоводы В.С. Валуев, А.А. Гончарова (Старухина), К.П. Наумова, Е.А. Крестьянникова, реставраторы А.П. Клюйкова, А.Н. Кривцов, зав. учетом М.А. Кирильцева, делопроизводитель О.С. Владимирова, вахтер и несколько технических сотрудников, уборщиц, приступил к демонтажу экспозиции и упаковке экспонатов Оружейной палаты в ящики. Сначала предполагалось укрыть ценности на территории Кремля – в Тайницкой башне, подклете Благовещенского собора и других зданиях, однако обстановка на фронте ухудшалась, враг стремительно приближался к столице. 30 июня Н.К. Спиридонов принял самостоятельное решение об эвакуации сокровищ на Урал, и директор музея Николай Никитович Захаров в тот же день получил предписание отбыть с наиболее ценными экспонатами из Москвы. Одновременно с ним сопровождали груз А.В. Баянов, Е.А. Ефимов, Н.В. Гордеев, О.С. Владимирова, охрану ценностей осуществляли красноармейцы. В 10 часов вечера три пульмановских вагона с экспонатами отбыли с Северного (Ярославского) вокзала. В ночь на 5 июля они благополучно прибыли в Свердловск. Однако в дороге не обошлось и без происшествий, примерно посередине пути было обнаружено расхождение досок и трещины в полу одного из вагонов. Состав был задержан, пол отремонтировали. Через три дня В.С. Валуев доставил и вторую группу экспонатов, а 10 июля А.А. Старухина (Гончарова) была в Свердловске с последней группой памятников.

Экспонаты были размещены в небольшом помещении (около 154 кв. метров) в здании УНКВД на ул. Ленина, сохранившемся до наших дней. Всего было эвакуировано 75 % экспонатов Оружейной палаты, в залах музея осталась только коллекция экипажей, упаковка и транспортировка которых из-за больших размеров в тех условиях была невозможна. Из-за сложности демонтажа иконостасов не была эвакуирована и большая часть икон из кремлевских соборов.

С середины июля Москва стала систематически подвергаться массированным бомбардировкам немецкой авиации. Пострадал и Кремль, одевшийся в маскировочные одежды. Золотые купола и кресты храмов были выкрашены темной краской, рубиновые звезды выключены и зачехлены темной материей, Царь-колокол был укрыт под настилом досок. На крышах зданий установлены пулеметы, под стенами собора Двенадцати апостолов находились броневики.

Основной задачей для сотрудников Оружейной палаты в Свердловске стало обеспечение безопасного хранения вывезенных из столицы памятников, исключавшего малейшую возможность их хищения. Кстати, во время транспортировки ни одна пломба на ящиках с сокровищами не была сорвана, экспонаты в основном доехали без повреждений. В течение июля все ящики были вскрыты, все экспонаты сверены с поящичными списками. 4 августа Н.Н. Захаров отправил в Кремль рапорт о доставке и размещении предметов, одновременно он просил организовать эвакуацию в Свердловск наиболее ценных икон и экспонатов из соборов, прислать необходимые упаковочные материалы для более тщательной упаковки ценностей. До конца 1941 года условия их хранения были существенно улучшены.

Одним из основных направлений работы музейщиков в эвакуации стало сличение экспонатов с научными описями и материалами Комиссии по проверке деятельности Оружейной палаты 1939–1940 годов. В результате этого кропотливого труда была создана охранная опись Музеев Кремля, до сих пор не утратившая своего значения. Одновременно проводилась реставрация ряда предметов. Так, были приведены в порядок часть трофеев Полтавской битвы, восстановлено коронационное платье императрицы Елизаветы Петровны.