Неспокойный характер юноши привел его в 1907 году, еще будучи учащимся городского училища, в члены ученического кружка эсеров-максималистов. Именно максималисты организовывали покушения на царских министров, губернаторов, генералов, высших чинов полиции и других представителей власти.

В мае 1909 года Яков, которому едва исполнилось 17 лет, был арестован полицией за «хранение литературы преступного содержания» и по подозрению соучастия в убийстве начальника Минской тюрьмы. В заключении он провел один год, после чего был административно выслан в Витебск. С апреля 1910 года работал электромонтером на Витебской электростанции.

В августе 1912 года Яков был призван в армию. Служил рядовым 122-го Тамбовского полка в Харькове. После начала Первой мировой войны с июля 1914 года воевал на Западном фронте рядовым 105-го Оренбургского полка. Однако служба в действующей армии для молодого человека длилась недолго. Уже в августе, во время Самсоновского прорыва в Восточной Пруссии, Серебрянский был тяжело ранен. Почти полгода он находился на излечении в госпитале, а затем был демобилизован из армии. С февраля 1915 года работал электромонтером на газовом заводе в Баку.

После Февральской революции 1917 года Серебрянский становится активистом эсеровской организации, членом Бакинского совета. От партии социалистов-революционеров он избирается делегатом Первого съезда Советов Северного Кавказа. С марта 1917 года — сотрудник Бакинского продовольственного комитета. После освобождения Баку от мусаватистов Серебрянский служил в Красной Армии — начальником отряда Бакинского Совета но охране продовольственных грузов на Владикавказской железной дороге.

В 1918 году на квартире у своего друга и коллеги по Бакинскому Совету и эсеровской партии Марка Беленького Серебрянский познакомился с его 18-летней сестрой Полиной. Впоследствии она стала женой Якова и разделила с ним все трудности непростой жизни разведчика-нелегала.

Вскоре Бакинская коммуна пала, город заняли английские интервенты. Серебрянский переселился в персидский город Решт, куда ранее, спасаясь от бедствий Гражданской войны, перебралась с родителями Полина. В мае 1920 года в Персию вошли части Красной Армии, преследовавшие отряды белогвардейцев и англичан. 6 июня Решт был провозглашен столицей Гилянской Советской Республики. Именно в это время судьба свела Серебрянского с видным чекистом того времени Яковом Блюмкиным, который в июле 1918 года по заданию ЦК левых эсеров убил германского посла графа Мирбаха. В Гиляни Блюмкин служил комиссаром штаба Персидской Красной Армии. Он посодействовал принятию Серебрянского на службу в созданный в ней Особый отдел. Так началась работа Якова Серебрянского в ВЧК. После поражения Гилянской республики Серебрянский переехал в Москву, где продолжил службу в центральном аппарате ВЧК в качестве оперативного работника. В сентябре 1920 он становится секретарем Административно-организационного отдела. Здесь он познакомился с руководителем отдела Вячеславом Менжинским и начальником Особого отдела Артуром Артузовым. Впрочем, служба Серебрянского в центральном аппарате ВЧК длилась недолго. Уже в августе 1521 года он увольняется из ВЧК по демобилизации и поступает на учебу в Электротехнический институт.

Работая в ВЧК, Серебрянский продолжал поддерживать связь со своими бывшими друзьями-эсерами, что сыграло с ним злую шутку. Уже учась в институте, он был арестован своими же бывшими коллегами-чекистами. 2 декабря 1921 года Серебрянский зашел в гости к своему старому товарищу правому эсеру Давиду Абезгаузу и угодил в устроенную там засаду. Четыре месяца провел Яков в тюрьме. Следствие изучало вопрос о его возможной принадлежности к правым эсерам, находившимся в то время под фактическим запретом. 29 марта 1922 года Президиум ГПУ, рассмотрев его дело, вынес постановление: из-под стражи освободить, но «взять на учет и лишить права работать в политических, розыскных и судебных органах, а также в Наркомате иностранных дел».

Серебрянский устроился на работу заведующим канцелярией нефтетранспортного отдела треста «Москвотоп», однако в начале 1923 года был арестован по подозрению во взяточничестве. Следствие не подтвердило предъявленных ему обвинений, и Серебрянский был взят на поруки и освобожден. В октябре того же года Яков перешел на работу в редакцию газеты «Известия», где сделал окончательный политический выбор и стал кандидатом в члены ВКП(б).

И вновь в судьбу Серебрянского вмешался Блюмкин. В то время он собирался по линии внешней разведки на нелегальную работу в Палестину в качестве резидента и подыскивал себе заместителя.

Блюмкин предложил Якову, свободно владевшему английским, французским и немецким языками, ехать вместе с ним. Серебрянский дал свое согласие. Ранее принятое постановление Президиума ГПУ в отношении бывшего чекиста было отменено, и он был зачислен особоуполномоченным закордонной части Иностранного отдела. В декабре 1923 года разведчики Блюмкин и Серебрянский выехали в Яффу (ныне Тель-Авив). Накануне отъезда их принял В. Менжинский, который поставил задачу по сбору информации о планах Англии и Франции на Ближнем Востоке. Напутствуя разведчиков, он обратил их внимание на необходимость активизации вербовочной работы.

В июне 1924 года Блюмкин был отозван в Москву, и его на посту резидента сменил Серебрянский.

Историк отечественных спецслужб Олег Капчинский так описывает этот период деятельности разведчика:

«Теперь руководство разведки поставило перед Серебрянским еще более сложную задачу — создание глубоко законспирированной агентурной сети в регионе и в первую очередь в боевом сионистском движении, с чем он отлично справился. Кроме того, в течение года ему удалось привлечь к сотрудничеству большую группу эмигрантов как из числа сионистских поселенцев, так и из русских, в основном — бывших белогвардейцев, осевших в Палестине. Завербованные Серебрянским люди впоследствии составили ядро руководимой им специальной группы.

В 1924 году к Серебрянскому присоединилась жена Полина, направленная в Яффу помогать супругу по личному указанию начальника Иностранного отдела Трилиссера».

Другой историк российской разведки, Эдуард Шарапов, по этому поводу писал:

«В 1924 году, когда Серебрянский уже почти год был за границей, Трилиссер, бывший в то время начальником ИНО ОГПУ, вызвал к себе его жену — Серебрянскую Полину Натановну.

— Вам нужно ехать к мужу, — сказал Трилиссср. — Ему трудно. Вам надо быть рядом.

— Не поеду, боюсь.

Несколько затянувшаяся беседа Серебрянской и Трилиссера закончилась очень просто. Трилиссср после уговоров и объяснений положил свою ладонь на руку Серебрянской и мягко, но твердо сказал: «Ну вот что, Полина Натановна… Или вы поедете за границу к мужу или вам придется положить на стол партийный билет».

Для нее, члена партии с 1921 года, работницы Краснопресненского райкома партии, это было просто немыслимо, и она поехала. И была с мужем в Палестине, во Франции, в Германии, США и Бельгии, везде помогая мужу в трудной и необходимой для страны работе».

В 1925 году Серебрянского отозвали из Палестины и направили на нелегальную работу в Бельгию. В Москву он возвратился в феврале 1927 года и был принят в члены ВКП(б). В том же году его направили нелегальным резидентом в Париж, где он проработал до марта 1929 года. Материалы о деятельности Серебрянского в Бельгии и во Франции до сих пор носят гриф секретности. Свидетельством его успешной оперативной деятельности может являться лишь тот факт, что по окончании загранкомандировки разведчик был отмечен высшей ведомственной наградой — нагрудным знаком «Почетный чекист» и серьезным повышением по службе, а ранее — в 1927 и 1928 годах — дважды личным боевым оружием.