Возглавляя ОО 16-й армии, Ольский руководил раскрытием шпионской деятельности руководителя польской миссии связи при штабе 16-й армии (дело было в период мирных переговоров между РСФСР и Польшей) майора Равич-Мысловского и подхорунжего Езерского, имевших связь с существовавшей еще с 1918 г. польской шпионской организацией в Могилеве. По словам историка А.А. Здановича, «в той или иной степени на Равича работали 58 человек, среди которых были отдельные командиры и солдаты, железнодорожники, служащие органов снабжения армии и даже… несколько сотрудников особых отделов — поляков по национальности. Один из предателей вознамерился передать «дипломатам» шифр особого отделения первой дивизии, другой даже обратился с письмом к польским военным представителям с изложением перечня услуг, которые бы мог оказать в обмен на содействие после бегства в Польшу. Медлить было нельзя. Полностью раскрыв шпионскую деятельность Равича и имея в руках неопровержимые улики, особый отдел армии в начале января 1921 г. приступил к ликвидации разросшегося филиала польской разведки.

Итог пребывания Равича и Езерского в Могилеве был печальным: все завербованные ими агенты провалились, а сами они по возвращении в Польшу преданы военно-полевому суду как не обеспечившие выполнение важных заданий Генерального штаба. За операцией в Могилеве последовало раскрытие крупной шпионской организации в Витебске».

В июне 1921 г. Ольский был назначен председателем ЧК БССР, действовавшей в то время на правах губ. ЧК и подчинявшейся Полпредству ВЧК на Западном фронте, находящееся в Смоленске. Это совпало с развитием бандитизма в республике. После приезда в Минск комиссии во главе с зампредом ВЧК И.С. Уншлихтом и главкомом РККА С.С. Каменевым был создан Реввоенсовет Минского района, с чрезвычайными полномочиями по борьбе с бандитизмом. В его состав вошли командующий 16-й армии Иероним Уборевич, нарком по военным и внутренним делам Иосиф Адамович и председатель Белорусской ЧК Ян Ольский.

Белорусские чекисты разгромили в Шумянском уезде группу савинковского «Западного областного комитета».

16 декабря 1921 г., выступая на III Всебелорусском съезде Советов, председатель республиканской ЧК Ян Ольский заявил, что «бандитизм к данному моменту полностью ликвидирован».

С 1922 года после реорганизации ВЧК Ольский возглавил ГПУ при Президиуме ЦИК БССР. В 1923 г. Реввоенсовет РСФСР наградил Ольского орденом Красного Знамени. А.А. Зданович приводит характеристику комиссии по аттестации сотрудников ГПУ (1922): «Работоспособный, с широкой инициативой, безусловно, честный, усовершенствованно знакомый со всеми отраслями чекистской работы… Имеет колоссальные заслуги в области разработок разных контрреволюционных и шпионских организаций, известных ВЧК. Вполне соответствует своему назначению и, несмотря на молодость (родился в 1898 г.), способен занимать более высший пост».

В начале 1923 г. по предложению заместителя председателя ГПУ Уншлихта Ольского переводят на работу в Москву. С февраля 1923 г. он — начальник 3-го отделения (контрразведывательная работа против Польши, Румынии и балканских стран), помощник начальника контрразведывательного отдела ОГПУ, с июля 1923 г. по совместительству начальник отдела погранохраны ОГПУ. Одновременно с октября 1923 г. главный инспектор Главной инспекции войск ОГПУ и начальник Высшей пограничной школы. С декабря 1925 г. одновременно заместитель начальника Особого отдела ОГПУ (с мая 1927 г. — первый помощник начальника ОО, фактически руководил им ввиду загруженности начальника отдела Г. Г. Ягоды) и КРО ОГПУ.

Он был награжден двумя знаками «Почетный работник ВЧК-ОГПУ» (эта ведомственная награда, впоследствии именовавшаяся «Заслуженный работник НКВД» и «Почетный сотрудник КГБ», в чекистской среде известна под названием «Почетный чекист»), а к десятилетию ВЧК-ОГПУ Коллегия ОГПУ наградила его почетным боевым оружием с надписью «За беспощадную борьбу с контрреволюцией». Ольский во многом отличался от некоторых руководителей ОГПУ. По словам А.А.Здановича, «известны многочисленные факты, когда он жестко реагировал на нарушения законов со стороны работников ОГПУ. Даже судя по его кратким заметкам на полях документов и записок, адресованных Главному военному прокурору, можно судить, как далеко умел смотреть чекист, как стремился уберечь своих коллег и подчиненных от пренебрежения нормами закона при ведении следствия. Несмотря на крайнюю загруженность работой, он нашел время и совместно с работниками ГВП подготовил циркуляр, в котором категорически требовал от всех начальников особых отделов обеспечить соблюдение законности, устранить трения с военной прокуратурой».

В ноябре 1927 г. Ольский, как уже говорилось, возглавил КРО, оставаясь помощником начальника Особого отдела ОГПУ. Тогда же был создан единый секретариат обоих отделов. 26 октября 1929 г. Ольский был назначен начальником Особого отдела ОГПУ по совместительству с должностью начальника Контрразведывательного отдела (в ноябре он был назначен первым помощником начальника СОУ ОГПУ). Его помощниками (в 1927 г. в структуре центрального аппарата ОГПУ были упразднены должности заместителей) оставались Стырне и Пузицкий. Начальниками отделений были А. Формайстер (1-е — посольства), Роллер (2-е — англо-франко-итальянское), К. Науиокайтис (3-е — польское, затем- контрабанда, граница, таможня), В. Кияковский (4-е — Прибалтика и Скандинавия), И. Тубала (5-е — дальневосточные страны), Н.И. Демиденко (6-е — белая эмиграция), С. Гендин (7-е — Польша), выходец из Венгрии М.А. Розенфельд (8-е — немецкое, вместо перешедшего в ИНО О. Штейнбрюка).

Осенью 1930 года система контрразведки подверглась реорганизации. Приказом ОГПУ от 10 сентября 1930 г. для объединения борьбы с контршпионажем и «белогвардейско-кулацкой и повстанческой контрреволюцией», в т. ч. и в Красной Армии в состав Особого отдела были включены ранее упраздненные Контрразведывательный и Восточный отделы. 15 сентября была утверждена новая структура и штаты Особого отдела. Начальником был назначен Я.К. Ольский, его заместителем — Л.Б. (З.М.) Залин, переведенный с должности полномочного представителя ОГПУ по Западной области; помощниками начальника — С.В. Пузицкий (через месяц он был назначен заместителем Ольского), Н.Г. Николаев-Журид, бывший начальник КРО полномочного представительства ОГПУ по Северо-Кавказскому краю, В.А. Стырне, Т.М. Дьяков, бывший начальник Восточного отдела ОГПУ и Л.А. Иванов, бывший начальник Особой инспекции при Коллегии ОГПУ.

Структура Особого отдела была перестроена, вместо отделений были образованы отделы: 1-й отдел — контрразведка против разведок спецслужб западных стран, наблюдение за иностранными представительствами и колониями на территории СССР (начальник — В.А. Стырне); 2-й отдел — борьба с антисоветской деятельностью белогвардейских, крестьянских, молодежных групп и организаций и бандитизмом (Н.Г. Николаев-Журид); 3-й отдел — борьба с националистическими движениями и организациями, контррразведка против разведывательной деятельности со стороны государств Востока, наблюдение за представительствами и колониями этих стран на территории СССР (Т.М. Дьяков); 4-й отдел — оперативное обслуживание армии, флота, оборонного строительства и военно-учебных заведений (Л.А. Иванов). В марте 1931 г. отделы вновь были переименованы в отделения.