Реакцией анархистов на эти тенденции стал постепенный переход к нелегальным формам борьбы и организации. Весьма интересным примером здесь является деятельность группы активисток Анархистского Черного Креста – организации помощи заключенным-анархистам, действовавшей при ВФАК. В конце сентября 1923 г. в Москве были арестованы студентки медицинского факультета I МГУ Елизавета Евгеньевная Ганьшина, Галина Федоровна и Людмила Федоровна Лях, Елена Григорьевна Писаревская (Залингер), Татьяна Романова. Они собирали продукты питания и деньги в помощь другим анархистам и, вероятно, по этой линии поддерживали опосредованные контакты с А. Карелиным. Кроме того, Писаревскую обвиняли в том, что на ее квартире в течение нескольких дней ноября 1922 г. нашли временное пристанище бежавшие из тюрьмы анархисты Д. Коган-Рубин и И. Ахтырский, а также покинувшая место ссылки анархистка М. Вегер. Писаревская была осуждена к 2 годам ссылки, которую отбывала в Ташкенте, а затем – в Коканде и Фергане. Елизавета Ганьшина и арестованная ранее по тому же делу Е.А. Лютович-Литвинова отбыли три года заключения в Соловецком концлагере.

Имели место и попытки вернуться к практике экспроприаций, столь популярных в анархистской среде в дореволюционные годы, а затем получивших применение в деятельности «анархистов подполья» в 1919 г. Так, 9 августа 1923 г. анархист П. Фисун, вернувшийся в Полтавскую губ. после освобождения из Бутырской тюрьмы, попытался совершить экспроприацию кассы Полтавского окружного финансового отдела. Экспроприатор был на месте преступления схвачен сотрудниками ГПУ, знавшими о его намерениях от осведомителя, внедренного в анархистскую среду.

Под влиянием репрессий и сокращения возможностей какой-либо легальной работы начинается отход от анархистского движения части его активистов. А.А. Боровой в своих дневниковых записях от 6 июня 1934 г. отмечает это обстоятельство, говоря о вынужденной беяздеятельности, усталости от долгих, бесконечных арестов, ссылок и тюрем. Впрочем, его выводы имели отношеине и к более раннему периоду – началу 1920-х гг.: «„Типов“ отхода было несколько. Одни уходили, п[отому] ч[то] не могли оставаться без живого, реального дела. Их томила вынужденная бездеятельность. Такими были – тт. Альфа (Аникст), занявший видное место среди советских работников, пожалуй, Ярчук. Другие уходили от „усталости“ – Рубинчик и др. Третьих – мучили соблазны карьеры. Таковы были – Новомирский и гораздо более мелкие Сандомирский и Алейников. (Последний, кажется, худо кончил)».

В отчетах руководства ОГПУ отмечается все большее количество нелегальных анархистских групп. Так, ВФА помимо легальных структур имела подпольные организации, например – в Петрограде. В середине 1920-х гг. активно действовали созданные ее лидерами (А.А. Карелиным, А.А. Солоновичем, Н.И. Проферансовым, Н.К. Богомоловым) подпольные кружки «анархо-мистиков», организованные по системе эзотерических орденов и ориентированные на работу среди студенчества и интеллигенции. В 1925–1930 гг. анархо-мистическая сеть распространила свою деятельность за пределы Москвы, создав парамасонские орденские структуры в Нижнем Новгороде, Сочи, Ленинграде и др. городах.

Следует сказать немного о мировоззрении анархо-мистиков. Они пытались подвести под идеи анархизма обоснование с позиции религиозных, эзотерических учений, опираясь, прежде всего, на гностические христианские идеи. Основную роль в создании этого течения сыграл А. Карелин – автор большинства орденских легенд и др. текстов. Кроме того, как мы можем судить по трудам другого видного представителя анархо-мистиков, А. Солоновича, учение Кропоткина они трактовали как этическое, далекое от принципов и практики классовой борьбы: «Благодаря углубленной способности сопереживания – его опыт становился все больше и позволял ему легко прозревать сквозь оболочку условностей, сквозь искусственные перегородки социальных неравенств – то общечеловеческое в страдании, что присуще каждой душе, несмотря на все ее индивидуальное и личное своеобразие… Поэтому же он никогда не мог стать на точку зрения классовой борьбы и т. п. схематизации». Уже сам выбор Кропоткиным пути революционера, анархиста был обусловлен этическим чувством сострадания, на что Солонович указывает как на один из главных аргументов своей трактовки идей Кропоткина. Принимая, как одну из основ собственного «анархо-мистического» учения, этику взаимопомощи Кропоткина, Солонович отвергал даже материалистический характер его философской концепции: «Материя нисколько не противоположна духу, и раз она живет и мыслит, она ничего общего с материей метафизической не имеет, а так как название для той или другой философской системы дается в области философии же, то там под формой материализма понимается совершенно определенное учение. Но это учение совершенно не совпадает с тем материализмом, о котором говорят Бакунин и Кропоткин. Поэтому точнее было бы назвать это не материализмом, а реализмом, потому что оно прежде всего хотело считаться с реально существующим».

Обращение Кропоткина преимущественно к общественной жизни и коллективистским ценностям, полагал Солонович, перечеркнуло возможность утверждения этического характера его учения, выдвинув в фокус его внимания социально-экономическую и политическую борьбу. Полная переориентация интересов Петра Алексеевича на этические проблемы была возможна при постановке в центр его исследований личности как таковой, однако он сосредоточил внимание на социальной природе человека и связанных с ней факторах. Итогом стала «философская беспомощность» Кропоткина перед проблемами личности: «Для него остается наглухо и навсегда закрыта внутренняя сторона личности, что предохраняет его от многого, делает его цельным, но зато и не дает ему возможности глубже взглянуть на жизнь и самих людей. Сама личность в силу этого истончается перед его глазами, делается прозрачной и сквозь нее Кропоткин видит одну только массу». Обращение Петра Алексеевича в последние годы жизни к работе над вопросами этики Солонович трактовал как своеобразную попытку преодолеть ограниченность собственного коллективистского мировоззрения: «В попытке создать новое обоснование морали можно видеть проблески своеобразного бегства Кропоткина из „Ясной Поляны“ – его светлого рационалистического оптимизма, … убедить себя, что, может быть, можно уйти из старого, не отрекаясь от него, сохраняя его прежнюю цельность…» Эта ограниченность преодолевается в призыве Кропоткина к совершенствованию личности, который Солонович толкует как вывод из кропоткинского этического анархизма. Тем самым Кропоткин перенес внимание с проблем общественного переустройства на личностное совершенствование. И вслед за ним сам А.А. Солонович утверждает необходимость перевести фокус практической работы анархистов с воплощения социальной утопии на духовную работу как над собственной личностью, так и над окружающими людьми.

Для анархо-мистиков была характерна попытка сближения анархо-коммунистических идеалов П.А. Кропоткина с религией. В этических принципах Петра Алексеевича они усматривали религиозные начала: «в основу этики он кладет веру и истину». С этой точки зрения Солонович трактует учение Кропоткина как религиозное и проводит параллель с учениями Кришны, Будды и Христа.

Между тем к подпольной борьбе анархистов в значительной мере толкало и недовольство бездействием руководства легальных организаций, сильно ограниченного в свободе действий. Одним из проявлений протеста стало вышедшее в декабре 1924 г. воззвание подпольной Организации анархической молодежи из числа членов ВФА, призывавших к проведению ее съезда, переизбранию секретариата и поиску новых форм борьбы. Фактически же речь шла о переходе в подполье. Письмо было передано анархистам-эмигрантам, с которыми ленинградские анархисты-подпольщики вели тайную переписку.