Микоян стал членом социал-демократического кружка еще в стенах семинарии и прочитал здесь почти всю марксистскую литературу на русском языке. В 1915 году он вступил в партию большевиков. В этом же году Микоян блестяще окончил семинарию и в 1916 году был принят на первый курс Армянской духовной академии, которая находилась в Эчмиадзине — религиозном центре Армении. Микоян не окончил академию и не стал священником: началась Февральская революция, и именно он становится одним из организаторов Совета солдатских депутатов в Эчмиадзине.

Вскоре после Октябрьской революции Микоян оказался на партийной работе в Баку — этот город был главным промышленным центром и оплотом большевиков в Закавказье. В Бакинский совет входили большевики, меньшевики, дашнаки, эсеры и другие партии. Незначительное преимущество было все же у большевиков, они создали в апреле 1918 года Совет народных комиссаров во главе со Степаном Шаумяном, членом ЦК РСДРП(б), которого советское правительство по предложению Ленина еще в декабре 1917 года назначило чрезвычайным комиссаром по делам Кавказа.

Молодой Микоян командовал боевой дружиной большевиков, он участвовал в подавлении восстания мусаватистов — азербайджанской буржуазно-националистической партии, которая вошла в союз с турецкими войсками, наступавшими на город. Затем Анастаса Ивановича послали на фронт комиссаром бригады. Оборонять Баку было трудно. Начиналась Гражданская война. Восстания казаков на Дону и Северном Кавказе, чехословацкий мятеж, наступление Добровольческой армии Деникина отрезали Бакинскую коммуну от России. Часть Средней Азии (Закаспийская область) была оккупирована англичанами, гражданская власть здесь оказалась в руках правых эсеров. Лишь морем через Астрахань бакинские большевики могли получать кое-какую помощь из советской России. В этих условиях эсеры и меньшевики предложили пригласить в Баку английские войска. Еще шла Первая мировая война, в которой Англия и Турция воевали друг с другом. Большевики были против. Однако бурное голосование Бакинского совета не принесло успеха большевикам. 258 голосов против 236 было подано за приглашение английских войск и создание коалиционного правительства из всех советских партий. Часть народных комиссаров предлагали сохранить Совнарком и провести перевыборы Совета. Но Шаумян не пошел на это. Большевики передали власть новому правительству, и скоро в Баку вошли немногочисленные английские отряды.

Узнав о перевороте, Микоян поспешил в город. Но здесь его ждало еще одно горькое известие — большинство активных деятелей Бакинской коммуны были арестованы. Впрочем, и новая власть — так называемая «диктатура Центрокаспия» — продержалась в Баку лишь до середины сентября. Англичане не сумели приостановить турецкое наступление. Началась поспешная эвакуация. В день вторжения турецких войск в Баку Микоян руководил освобождением Степана Шаумяна и других большевиков из тюрьмы. С помощью командира небольшого отряда Т. Амирова все они успели занять место на пароходе «Туркмен», переполненном беженцами и солдатами. Корабль отплыл в Астрахань. Но ни группа дашнакских и английских офицеров, ни многие из солдат не хотели плыть в советскую Астрахань. Они сумели взбунтовать команду корабля и увести его в Красноводск, оккупированный англичанами. Эсеровские власти в этом городе арестовали всех большевиков. Портретов бакинских комиссаров тогда еще не было, документов тоже. Руководствуясь списком на тюремное довольствие, найденным у Корганова, исполнявшего роль старосты в бакинской тюрьме, эсеры отделили 25 человек во главе со Степаном Шаумяном. Сюда же включили командира партизан Т. Амирова. Так образовалась знаменитая цифра 26. Все они были увезены из Красноводска якобы для суда в Ашхабад. Однако вагон с арестованными не дошел до Ашхабада. 20 сентября 1918 года на 207-й версте красноводской железной дороги все 26 арестованных были расстреляны. Здесь были и коммунисты, и левые эсеры, народные комиссары и личные телохранители Шаумяна. Один из погибших оказался беспартийным мелким служащим. Но все они вошли в историю как «26 бакинских комиссаров». Микояна не было ни в списках на довольствие, ни в списках арестованных, опубликованных бакинскими газетами. Остались в живых и видные деятели Бакинской коммуны С. Канделаки и Э. Гигоян. Ни в Баку, ни в красноводской тюрьме долго никто не знал о гибели 26 бакинских комиссаров. Турки скоро покинули Азербайджан. Война закончилась победой Антанты. Мусаватистское правительство вступило в сговор с англичанами. Рабочие Баку объявили забастовку, требуя возвращения Шаумяна и его товарищей. Но в Баку вернулись в феврале 1919 года только Микоян, Канделаки и еще несколько большевиков. Лишь в сентябре 1920 года, уже после восстановления советской власти в Баку, были перевезены и торжественно захоронены на одной из центральных площадей города останки расстрелянных бакинских комиссаров.

Вернувшись в Баку, Микоян возглавил подпольную большевистскую организацию. Осенью 1919 года он побывал в Москве с докладом о положении на Кавказе, познакомился с Лениным, Кировым, Орджоникидзе, Куйбышевым, Фрунзе, Сталиным, Стасовой, был избран во ВЦИК. Весной 1920 года Красная Армия вступила в Баку, и здесь была провозглашена советская власть. Но Микоян недолго оставался на Кавказе. Неожиданно его вызвали в Москву и направили с мандатом ЦК РКП(б) на работу в Нижегородский губ-ком. Местные руководители встретили молодого кавказца с недоверием. Положение в городе и в губернии было критическим. Волновался измученный голодом и холодом 50-тысячный гарнизон, недовольство охватило не только крестьян, но и рабочих, месяцами не получавших зарплаты. Опытный пропагандист и агитатор, Микоян действовал не только умело, но и весьма решительно. Вскоре он был избран секретарем губкома и стал фактическим руководителем губернии, о которой знал еще недавно только по школьному учебнику географии. Он несколько раз встречался с Лениным, участвовал во всех съездах советов и съездах партии. Весной 1922 года 26-летний Микоян был избран кандидатом в ЦК РКП(б).

В 1920–1921 годах Микоян попадает в «сферу влияния» Сталина и еще перед X съездом партии выполняет ряд его конфиденциальных поручений. Весной 1922 года по рекомендации Сталина Микоян был назначен секретарем Юго-Восточного бюро ЦК РКП(б). Вскоре он возглавил Северо-Кавказский краевой комитет РКП(б) с центром в Ростове-на-Дону. В этом крае проживало около 10 миллионов человек. Сюда входили территории казачьих областей — Кубанской, Терской и Войска Донского, Ставропольской и Черноморской губерний, а также семь национальных округов, в которых проживали люди самых различных национальностей.

Проблемы, которые приходилось решать молодому Микояну, были исключительно сложными. Северный Кавказ еще недавно служил ареной жестоких боев Гражданской войны, отдельные отряды казаков и горцев еще скрывались в горах Кавказа. И все же в условиях нэпа Северный Кавказ быстро оправлялся от разрухи и становился снова житницей страны. Микоян весьма решительно требовал сближения с крестьянством и казачеством. В станицах сохранялся казачий быт, одежда, поощрялись даже военные учения, джигитовка, спортивные упражнения. Под лозунгом «Сделать казачество опорой Советской власти» эти формирования включались в состав территориальных частей Красной Армии. Крайком разрешил не только горцам, но и казакам носить холодное оружие; было сохранено станичное управление и общий станичный бюджет.