Ценным подарком наркома было охотничье ружье, которое так никогда и не использовалось на охоте — Алексей Иванович не любил стрелять дичь, считая это занятие пустой тратой времени.

Через две недели после лыжного перехода Нестеренко участвовал в окружных соревнованиях на дистанции 50 километров, в полном снаряжении, со стрельбой. На этой спартакиаде он установил всеармейский рекорд по бегу на лыжах на 50 километров со стрельбой (аналог современного биатлона) и стал мастером спорта СССР. Кстати, на этой же окружной спартакиаде, в гонке на 10 километров среди женщин второе место завоевала представительница Томской артиллерийской школы Екатерина Харлампиевна Нестеренко — жена Алексея Ивановича. Ее девичья фамилия — Великопольская, они поженились в мае 1930 года, свидетельство о браке было выдано Томским окружным бюро ЗАГС.

Кроме лыж Нестеренко увлекался легкой атлетикой, конным спортом, фехтованием, планеризмом, то есть был разносторонне развитым человеком, что всегда помогало ему в преодолении тягот воинской службы. Ветераны Байконура вспоминают, как в годы командования полигоном генерал Нестеренко лично проводил утреннюю физзарядку с офицерами и солдатами в любое время года. Начиная с 1956 года, даже в тяжелейших условиях полигона, ежегодно проводились спартакиады и всевозможные спортивные соревнования.

В 1936 году Нестеренко поступил в Военную академию РККА им. М. В. Фрунзе (артиллерийское отделение), в 1939 году окончил ее досрочно в группе из 11 командиров. Перед поступлением в академию он получил первое персональное воинское звание «старший лейтенант» (24 января 1936 года) — персональные воинские звания были установлены постановлением ЦИК и СНК СССР от 28 сентября 1935 года.

В 1949 году в отделе кадров Академии артиллерийских наук в личное дело была подшита справка об аттестовании А. И. Нестеренко в 1929–1935 годах. Справка дает ценные сведения о службе Алексея Ивановича в этот период:

После выпуска из академии, в апреле 1939 года, майор Нестеренко был назначен командиром 170-го артиллерийского полка 37-й стрелковой дивизии (дислоцировался в городе Речица Белорусского военного округа). В июле 1939 года полк был поднят по тревоге и в составе дивизии направлен на Халхин-Гол, где советские войска отражали агрессию японских милитаристов против дружественной Монголии. В связи с быстрым завершением боевых действий полк был остановлен в Омске и оставлен вместе с дивизией в составе Сибирского военного округа. Однако вскоре было принято новое решение: в декабре полк вместе со всей дивизией перевели на механическую тягу и перебросили на Карельский перешеек, где началась война с Финляндией. Под командованием майора Нестеренко артиллеристы прошли всю войну в 1939–1940 годах.

В автобиографии Алексей Иванович писал: «При взятии острова Вуоратсу наша пехота залегла, не захватив господствующего гребня острова, что привело бы к провалу операции или потребовало бы многих дополнительных жертв. Пришлось вместе с комиссаром Вишняковым и разведкой полка поднять пехоту на штурм главных высот. Эти действия были вынужденными». За этот бой и умелое руководство полком майор А. И. Нестеренко и батальонный комиссар Н. Д. Вишняков были награждены орденами Красной Звезды.

После окончания войны с белофиннами полк дислоцировался некоторое время в Петрозаводске. В течение лета 1940 года личный состав работал на укреплении оборонительной полосы в районе Вяртсиля, занимался очисткой полей сражений от мин и других боеприпасов. Осенью полк в составе 37-й стрелковой дивизии переводится в Белорусский военный округ в район города Лепеля. В этом же году на осенних инспекторских стрельбах в Дретуне полк получил лучшую оценку среди артиллерийских частей лагерного сбора и переходящее знамя дивизии.