В 1912 г. призван в армию, служил рядовым 122-го Тамбовского полка в Харькове. После начала Первой мировой войны рядовой 105-го Оренбургского полка на Западном фронте. С февраля 1915 г. — электромонтер на нефтепромыслах в Баку. После Февральской революции — активист эсеровской организации, член Бакинского совета, делегат от партии эсеров I съезда Советов Северного Кавказа. С марта 1917 г. — сотрудник Бакинского продовольственного комитета. В марте 1918 г. — начальник отряда Бакинского совета по охране продовольственных грузов на Владикавказской железной дороге.

В этот период Серебрянский знакомится с видным эсером Я. г. Блюмкиным, который привлек его к участию в Гилянской экспедиции (Иран). С июля 1919 г. Серебрянский — сотрудник Особого отдела Иранской Красной Армии в г. Решт (Иран).

После падения Гилянской республики выехал в Москву. В мае 1920 г. поступил на службу в центральный аппарат ВЧК; сотрудник Управления особых отделов ВЧК (секретарь Административно-организационного отдела). С августа 1921 г., после увольнения из ВЧК по демобилизации, работал в редакции газеты «Известия» в Москве.

В декабре 1921 г. Серебрянский был арестован ВЧК за принадлежность к партии эсеров, но освобожден из-под стражи. В 1922–1923 г.г. работал в системе треста «Москвотоп».

В октябре 1923 г. вступил в кандидаты в члены ВКП(б).

В ноябре 1923 г., при содействии Блюмкина, был принят на должность особоуполномоченного Закордонной части ИНО ОГПУ и вскоре направлен на работу за рубеж. Вместе с Я. Блюмкиным выехал в Палестину, где в течение 2 лет действовал нелегально сначала в качестве помощника Блюмкина, а потом самостоятельно.

Перед отъездом Серебрянского принял зам. председателя ОГПУ В.Р. Менжинский, напутствовавший его пожеланием делать за границей «все, что будет полезно для революции». На Ближнем Востоке ему удалось надежно внедриться в подпольное сионистское движение, привлечь к сотрудничеству с ОГПУ большую группу иммигрантов-уроженцев России: А. Н. Ананьева (И.К. Кауфман), Ю.И. Волкова, Р.Л. Эске-Рачковского, Н.А. Захарова, А.Н. Турыжникова и других. Они и составили костяк боевой группы, известной позднее как «группа Яши». В 1924 г. к группе присоединилась жена Серебрянского Полина Натановна, которая, хотя официально и не работала в ИНО ОГПУ, постоянно сопровождала его в зарубежных поездках.

В 1925–1928 г.г. Серебрянский — нелегальный резидент ИНО ОГПУ в Бельгии и во Франции. В 1927 г. приезжал в Советский Союз, где успешно прошел партчистку и был принят в члены ВКП(б).

В апреле 1929 г. назначен начальником 1-го отделения ИНО ОГПУ (нелегальная разведка), одновременно оставаясь руководителем Особой группы («группа Яши») при председателе ОГПУ. Под этим названием действовало независимое от ИНО разведывательное подразделение, задачей которого являлось глубокое внедрение агентуры на объекты военно-стратегического характера на случай войны, а также проведение диверсионных и террористических операций.

Летом 1929 г. было принято решение о захвате и вывозе в Москву председателя Российского общевоинского союза (РОВС) генерала А.П. Кутепова, активизировавшего диверсионно-террористические действия на территории СССР. Вместе с зам. начальника КРО ОГПУ С.В. Пузицким Серебрянский выехал в Париж для руководства этой операцией. 26 января 1930 г. сотрудники «группы Яши» втолкнули Кутепова в автомобиль, сделали инъекцию морфия и доставили на борт советского парохода, стоявшего в порту Марселя. 30 марта 1930 г. за успешно проведенную операцию Серебрянский был награжден орденом Красного Знамени.

По завершении операции Серебрянский приступил к созданию автономной агентурной сети в различных странах для ведения разведывательной работы на случай войны. Был зачислен на особый учет ОГПУ. За границей лично завербовал более 200 человек.

В 1931 г. был арестован в Румынии, но вскоре освобожден и продолжил нелегальную деятельность. В 1932 г. выезжал в США, в 1934 г. — в Париж. 13 июля 1934 г. был утвержден руководителем Спецгруппы особого назначения (СГОН) при НКВД СССР. В ноябре 1935 г. Серебрянскому было присвоено звание старшего майора госбезопасности.

В 1935–1936 г.г. находился в командировке в Китае и Японии. После начала национально-освободительной войны в Испании занимался закупкой (частично нелегально) и поставкой оружия для республиканцев. Так, в сентябре 1936 г. — сотрудники Спецгруппы закупили у французской фирмы «Девуатин» 12 военных самолетов, которые доставили на приграничный с Испанией аэродром, откуда их под предлогом летных испытаний перегнали в Барселону. За эту операцию Серебрянский был награжден орденом Ленина.

В ноябре 1936 г. нелегалам СГОН с помощью агента М. Зборовского («Тюльпан»), внедренного в окружение сына Троцкого Л.Л. Седова, удалось захватить часть архива Международного секретариата троцкистов. Несколько ящиков с документами были переданы легальному резиденту ИНО в Париже г. Н. Косенко (Кислову) и переправлены в Москву.

В 1937 г. Л.Л. Седов («Сынок») по указанию отца приступил к подготовке I съезда IV Интернационала, который должен был состояться летом 1938 г. в Париже. В связи с этим Центр принял решение о похищении Седова. Проведение операции было поручено группе Серебрянского. План похищения «Сынка» был детально проработан. В подготовке операции участвовало 7 сотрудников Спецгруппы, в т. ч. и жена Серебрянского. Однако похищение Седова не состоялось — в феврале 1938 г. он умер после операции по удалению аппендицита.

Летом 1938 г. Серебрянский был отозван из Франции, а 10 ноября вместе с женой арестован в Москве у трапа самолета на основании ордера, подписанного Л.П. Берии. До февраля 1939 г. содержался под стражей без санкции прокурора. В ходе следствия, которое вел будущий министр МГБ B.C. Абакумов, а на более поздней стадии следователи С.Р. Мильштейн и П.И. Гудимович, Серебрянского подвергали т. н. «интенсивным методам допроса». По данным следственного дела, впервые был вызван на допрос 13 ноября 1938 г. На протоколе допроса имеется резолюция Берия: «Тов. Абакумову! Хорошенько допросить!»

Именно после этого на допросе 16 ноября 1938 г., в котором участвовал сам Л.П. Берия, а также Б.З. Кобулов и B.C. Абакумов, Серебрянский был избит и принужден дать ложные показания. 25 января 1939 г. он был переведен в Лефортовскую тюрьму (на допросе в 1954 г. Серебрянский показал, что еще до суда, т. е. на предварительном следствии он отказался от показаний, в которых признавал себя виновным и оговорил других).

7 июля 1941 г. Военная коллегия Верховного суда СССР приговорила Серебрянского, обвиненного в шпионаже в пользу Англии и Франции, связях с «заговорщиками» из НКВД во главе с Ягодой и подготовке терактов против советских руководителей, к высшей мере наказания, а его жену — к 10 годам лагерей «за недоносительство о враждебной деятельности мужа». Но приговор не был приведен в исполнение. Шла Великая Отечественная война, и разведке катастрофически не хватало опытных сотрудников. В августе 1941 г. благодаря ходатайству П.А. Судоплатова и вмешательству Л. П. Берия Серебрянский решением Президиума Верховного Совета СССР был амнистирован, восстановлен в органах НКВД и партии.