Формирование артиллерии резерва главного командования (Oberkommando des Heeres — OKH) началось в 1933 г. (хотя уже в 1931 г. две моторизованные батареи тяжелых полевых гаубиц, вооруженные предсерийными образцами новых артсистем и полугусеничных тягачей вошли в состав учебно-опытового командования — Lehr— und Versuchskommando). Характерной чертой её организации в вермахте было почти полное отсутствие крупных организационных единиц — полков. Артиллерия РГК состояла из многочисленных отдельных дивизионов и батарей, придаваемых армиям и корпусам. Подобная система просуществовала практически до конца войны. В соответствии с ней, в каждой полевой армии создавалось командование артиллерии, приравнивавшееся к дивизии — Höhereartilleriekommando, сокращенно Höh.Arko. На уровне корпусов также существовали командования артиллерии — Àrtilleriekommando, сокращенно Arko. Ни корпусные, ни армейские командования артиллерии не имели постоянного состава и штатных частей — им придавались дивизионы и батареи РГК.

По состоянию на 1 сентября 1939 г. артиллерия РГК имела в своем составе 75 артиллерийских дивизионов, главным образом, тяжелых, и 12 батарей железнодорожной артиллерии. Кроме того, имелись 19 моторизованных противотанковых дивизионов и несколько батарей сверхтяжелой артиллерии. Наконец, в состав артиллерии РГК входили дивизионы артиллерийской инженерной разведки (АИР) — каждому корпусному командованию артиллерии придавался один (реже два) таких дивизиона. Типичный дивизион АИР состоял из трех рот — топографической, метеорологической и визуальной разведки. Со второй половины 1941 г. в дивизионы АИР стали включать роты привязных аэростатов. Такие средства, казалось бы, безвозвратно ушедшие в прошлое, оказались как нельзя более подходящими для корректировки артиллерийского огня во время войны против Советского Союза. Самолетов-корректировщиков попросту не хватало на всю протяженную линию фронта. К тому же, аэростаты имели одно неоспоримое преимущество — им не требовались аэродромы.

На вооружении артиллерии РГК к началу Второй мировой войны состояли арстистемы, преимущественно, германского производства. Но появились и иностранные орудия — причем сначала не импортные, а закупленные за рубежом, а конкретно — в Чехословакии. Правительство этой страны после подписания Мюнхенского соглашения решило не оказывать Германии вооруженного сопротивления и продать за границу большинство артиллерийских орудий. Покупателем оказалась именно Германия, 11 февраля 1939 г. подписавшая соглашение о поставке 122 80-мм полевых пушек, 110 150-мм гаубиц, 18 210-мм мортир, шести 240-мм пушек и 17 305-мм мортир. Вместе с орудиями поставлялись арттягачи и специальные автопоезда с электрической трансмиссией для перевозки тяжелых орудий. Если 80-мм и 150-мм артсистемы нашли применение на дивизионном уровне, то более тяжелые орудия стали вооружением артиллерии РГК. Например, все 240-мм пушки поступили на вооружение сформированного 24 апреля 1940 г. 2-го дивизиона 84го артполка, имевшего три двухорудийные батареи (1-й дивизион этого полка использовал 240-мм пушки К 3 германского производства).

Единой структуры корпусной артиллерии не существовало. Как образец организации на начальном этапе войны можно привести организацию артиллерии 1-го армейского корпуса (11-я, 61-я и 217-я пехотные дивизии) времен польской кампании. Управление корпусной артиллерией осуществляло 123-е артиллерийское командование с приданными 1-м и 11-м дивизионами АИР. Основу артиллерийской группировки составлял 501-й артполк (три дивизиона, в общей сложности шесть батарей 150-мм гаубиц sFH 18 и две — 105-мм пушек К 18). Полку была придана отдельная моторизованная батарея «Доктор Бек» с двумя чешскими тяжелыми 305-мм мортирами Mrs (t). Кроме того, корпусная артиллерия включала один отдельный тяжелый дивизион (две гаубичные и пушечная батареи) и три отдельные батареи — две 105-мм пушек и одна 150-мм гаубиц. Наконец, двум из трех дивизий корпуса было придано по одному гаубичному дивизиону. Таким образом, корпус получил сверх штатной артиллерии дивизий ещё 15 гаубичных батарей (60 sFH 18), пять пушечных (20 К 18) и одну мортирную (две 305-мм мортиры).

Противотанковая пушка Pak35 выпуска 1938–1939 гг.

В короткий промежуток времени между окончанием войны против Польши и начало кампании во Франции в вермахте велось интенсивное формирование новых артчастей РГК. По состоянию на 15 апреля 1940 г. в составе артиллерии РГК насчитывалось:

— 45 командований артиллерии (Arko);

— 34 штаба артиллерийских полков;

— 33 дивизиона 105-мм пушек;

— 21 смешанный дивизион (по две батареи 150-мм гаубиц и одной 105-мм пушек);

— 43 дивизиона 150-мм гаубиц;

— два смешанных дивизиона мортир (по две батареи 210-мм мортир и одной 170-мм пушек);

— 10 дивизионов 210-мм мортир;

— два дивизиона тяжелых мортир (в каждом одна батарея 210-мм мортир и две двухорудийные батареи чешских 305-мм мортир);

— дивизион сверхтяжелых мортир (батарея с 420-мм мортирой «Гамма», батарея с чешской 420-мм гаубицей и батарея 355-мм мортир);

— четыре дивизиона 150-мм пушек;

— два дивизиона 240-мм пушек (в каждом по две двухорудийные батареи).

Кроме того, имелась железнодорожная артиллерия — два штаба полков, семь штабов дивизионов, а в их составе — 16 батарей (в общей сложности 33 артустановки калибров 150, 170, 240 и 280 мм). Флот располагал 42 батареями береговой артиллерии с орудиями калибром от 75 до 280 мм.

Совершенно новым элементом артиллерии РГК стали штурмовые орудия StuG III. Эти полностью бронированные самоходки с низким силуэтом, вооруженные 75-мм орудиями, предназначались для сопровождения пехоты. Во французской кампании принимали участие первые две батареи штурмовых орудий — 559-я и 560-я (по шесть StuG III). Но уже с 1941 г. началось массовое развертывание частей штурмовой артиллерии.

Вследствие победы над Францией в руки вермахта попало огромное количество трофейного оружия, в том числе и тяжелых артиллерийских орудий. Но «освоение» этого наследства шло медленно. Причин было несколько, но, прежде всего — недостаточное количество и крайне плохое качество боеприпасов. Например, когда во время боев за Киев в 1941 г. немцы попытались применить несколько дивизионов французских 155-мм гаубиц и 220-мм мортир, оказалось, что около половины выпущенных снарядов попросту не взрываются. Пришлось отложить ввод в бой французских артсистем до налаживания производства новых боеприпасов к ним. В конечном итоге, большинство трофейных тяжелых орудий попало в части береговой артиллерии.

К моменту начала операции «Барбаросса» в структуре артиллерии РГК произошли очередные изменения. Увеличилось количество органов управления — теперь в вермахте было 59 артиллерийских командований и 35 штабов артполков. До 39 увеличилось количество дивизионов АИР. Как уже отмечалось, в связи с формированием новых дивизий в их состав передали 17 дивизионов — восемь тяжелых гаубичных и девять смешанных. Но это отнюдь не означало ослабления артиллерии РГК — уменьшение количества стволов калибра 105 и 150 мм компенсировали формированием новых частей крупнокалиберной артиллерии. В частности, количество дивизионов 210-мм мортир возросло почти вдвое — с 10-ти до 19-ти. Также очень быстро росла численность штурмовой артиллерии — в мае 1941 г. вермахт располагал шестью дивизионами штурмовых орудий (в каждом — три батареи по семь орудий) и двумя отдельными батареями. Все шире распространялась реактивная артиллерия — к началу войны против СССР вермахт располагал 18-ю дивизионами реактивных установок (девять из них объединили в три полка, остальные были отдельными). Велись работы и в области сверхтяжелой артиллерии — на вооружение приняли 600-мм мортиры «агрегат 040» (более известны как «Карл») и 800-мм железнодорожную установку «Дора». Численность железнодорожной артиллерии возросла, главным образом, за счет увеличения с восьми до 13-ти количества батарей 280-мм установок. На вооружение были приняты и трофейные французские железнодорожные установки — две 340-мм пушки и две 400-мм гаубицы.