Современные историки Федеральной службы безопасности России ведут историю российской контрразведки с 1903 г., т. е. со времени организации «разведочного отделения при Главном штабе». Из этого факта, однако, не следует, что до начала XX века в России не было учреждений, выполнявших контрразведывательные функции. Этим в большей или меньшей степени занимались все российские спецслужбы, начиная с Приказа тайных дел в XVII веке и до Департамента полиции, одно из подразделений которого (Особый отдел) и осуществляло функции борьбы со шпионажем (как говорили в то время, «шпионством»). Контрразведкой также занимались военное ведомство (Военно-ученый комитет Главного штаба), Отдельный корпус пограничной стражи и таможенный департамент Министерства финансов, Министерство иностранных дел. В июле 1882 г. на совещании в Главном штабе с участием представителей МВД, МИД и Министерства финансов было признано необходимым «учредить постоянный полицейский надзор за военными и консульскими агентами с целью выяснения лиц, с которыми они находятся в постоянных сношениях, и мер, ими принимаемых для сбора секретных сведений». Но такие меры приняты не были.

В июне 1903 г. — в структуре Главного управления Главного штаба российской армии, по предложению военного министра генерала от инфантерии Алексея Николаевича Куропаткина, высказанного в докладе императору Николаю II, был создан специальный орган контрразведки — разведочное отделение ГУ ГШ. Начальником был назначен ротмистр Отдельного корпуса жандармов (ОКЖ) Владимир Николаевич Лавров, возглавлявший ранее охранное отделение в Тифлисе. Сотрудники разведочного отделения ГУ ГШ установили слежку за военными атташе в Петербурге: Австро-Венгрии — князем Гогенлоэ-Шиллингфюрстом, Германии — Лютвицем, Японии — Акаши, и их информаторами — чиновником Департамента торговли Васильевым и двумя военными интендантами — действительным статским советником Есиповым и ротмистром Ивковым. Во время войны с Японией сотрудники Лаврова в ходе наблюдения за английским военным агентом полковником Непиром установили его связи со служащими морского ведомства, передававшими английской разведке военные сведения (а о японском шпионаже читатели тогда же узнали из рассказа А.И. Куприна «Штабс-капитан Рыбников»). В 1910 г. в результате проведенной операции был выслан из России военный агент Австро-Венгрии Спанноки.

Отделение было засекреченным, и о его работе мало кому было известно. В дальнейшем оно было преобразовано в Санкт-Петербургское городское контрразведывательное отделение во главе с полковником ОКЖ Василием Андреевичем Ерандаковым, который сменил полковника Лаврова в 1910 г. (с 1911 г. Лавров, выйдя в отставку и поселившись во Франции, руководил первой организацией агентурной разведки в Западной Европе — т. н. «организацией № 30», действовавшей против Германии. Аналогичной резидентурой — «организацией № 31», действовавшей против Австро-Венгрии с территории Швейцарии, руководил другой жандармский полковник Михаил Фридрихович фон Коттен. В 1917 г. уже в чине генерал-майора его убили революционные матросы в Кронштадте, где он был начальником штаба крепости). В апреле 1914 г. Санкт-Петербургское КРО было реорганизовано в КРО Главного управления Генштаба.

Параллельно в Департаменте полиции с 1904 г. действовало специальное «отделение по разведке военного шпионства» (начальник — жандармский ротмистр, впоследствии генерал-майор, Михаил Степанович Комиссаров), которое просуществовало до июня 1906 года. Комиссаров и его сотрудники, среди которых был чиновник по особым поручениям при директоре ДП Иван Федорович Манасевич-Мануйлов, также занимались вербовкой агентуры среди служащих иностранных миссий, конкурируя с разведочным отделением Лаврова и мешая друг другу.

Дальнейшие изменения в организационной структуре формировавшейся контрразведки выглядели следующим образом. В декабре 1908 г. по соглашению МВД с военным и морским министерствами была создана межведомственная комиссия по организации контрразведывательной службы. Первый ее председатель директор Департамента полиции Максимилиан Иванович Трусевич предлагал организовать контрразведку в системе МВД. Его поддержал министр внутренних дел и председатель правительства Петр Аркадьевич Столыпин. Но уже в июне 1910 г. новый глава комиссии — товарищ министра внутренних дел, командир Отдельного корпуса жандармов генерал-лейтенант Павел Григорьевич Курлов предложил реорганизовать органы контрразведки, подчинив их военному ведомству. Этому предшествовало заседание комиссии, в котором участвовали исполняющий должность директора ДП С.П. Белецкий, исполняющий обязанности вице-директора ДП С.Е. Виссарионов, заведующий Особым отделом ДП полковник A.M. Еремин, начальник иностранной части Морского Генштаба старший лейтенант М.И. Дунин-Барковский, помощник начальника Штаба ОКЖ генерал-майор Залесский, начальник Киевского охранного отделения подполковник Н.Н. Кулябко, делопроизводитель разведывательного отделения ГУГШ полковник Н.А. Монкевиц и другие.

Сделав вывод, что «Департамент полиции не обладает специальными знаниями военной организации русской и иностранных армий….не может руководить контрразведочной службой», комиссия решила, что контрразведка должна быть «в ведении военного начальства». В июне 1911 г. в составе Особого делопроизводства Отдела генерал-квартирмейстера Главного управления Генштаба создается Регистрационное отделение. Тогда же военный министр генерал от кавалерии В.А. Сухомлинов утвердил «Положение о контрразведывательных отделениях» и «Инструкцию начальникам контрразведывательных отделений».

Для руководства созданными в крупных городах и военных округах контрразведывательными отделениями была учреждена должность помощника делопроизводителя Особого делопроизводства Отдела генерал-квартирмейстера ГУ ГШ, на которую был назначен подполковник Отдельного корпуса жандармов Владимир Михайлович Якубов. К концу 1912 г. КРО были образованы в Петербургском, Московском, Виленском, Варшавском, Киевском, Одесском, Тифлисском, Иркутском и Хабаровском военных округах.

Уже в ходе Первой мировой войны, в июне 1915 г., Верховный главнокомандующий великий князь Николай Николаевич утвердил два документа: «Наставление по контрразведке в военное время» и «Инструкция наблюдательному агенту по контрразведке».

С начала Первой мировой войны в действующей армии в составе армий и фронтов действовали контрразведывательные отделения (КРО), которые подчинялись соответственно генерал-квартирмейстерам штабов армий и разведывательным отделам генерал-квартирмейстеров штабов фронтов. Высшей структурной единицей контрразведки в действующей армии являлось КРО Ставки Верховного Главнокомандующего, находившееся в ведении генерал-квартирмейстера штаба Главковерха, низшими — контрразведывательные пункты в дивизиях и корпусах.