После экзаменов 18-летний юноша был зачислен в категорию унтер-офицеров, которых еще на год оставляли в училище, а затем уже офицерами отправляли в армию. В марте 1893 г. он был произведен в лейтенанты в городе Геттингене, который славился своим университетом. Его оклад составлял 75 марок в месяц. Он не имел ни отца, ни протекции, ни дворянства, ни состояния.

В 1900 г. он женился на Марии Кольгоф, дочери командира полка, в котором тогда служил. Как лейтенант, он получал уже ежемесячно 250 марок. Жена была очень зажиточной женщиной; среди ее родных по линии матери были дворяне, состоявшие на высоких государственных постах в Германской империи. Ее старшая сестра была замужем за гвардейским офицером, изгнанным из Франции за свои религиозные убеждения. В 1901 г. Николаи послали на учебу в военную академию в Берлине.

В 1904 г. после окончания военной академии и успешной сдачи экзаменов он, старший лейтенант, получил назначение в Генеральный штаб Германии. Этот небольшого роста, неразговорчивый офицер избегал шумных офицерских вечеринок с выпивками, предпочитая размеренную жизнь добропорядочного немецкого бюргера в своей семье. Он пылко включался в диспут, но особенно оживлялся, когда заходил разговор о Германии. Выдержав экзамен переводчика русского языка, Николаи был причислен к первому русскому отделу Генерального штаба. Шла Русско-японская война, и Николаи обязали изучать японский язык. В Берлине тогда было много японцев, возвращавшихся из русского плена на родину. Победители России были в то время очень популярны в Европе, их называли «пруссаками Дальнего Востока».

В 1906 г. Николаи сдал экзамен на знание японского языка и неожиданно получил предложение от начальника своего отдела майора фон Лаценштейна перейти на службу в разведку против России, которая начинала военную реформу и перевооружение. Это было расценено Германским генеральным штабом как подготовка войны против Германии. После глубокой внутренней борьбы Николаи решил, что как солдат он не может отказаться, и принял это предложение.

Он начал свою новую работу в Кенигсберге под руководством опытного и дальновидного генерала Рюдтгера фон дер Гольца. Ему и начальнику Генерального штаба Николаи до конца жизни будет благодарен за то, что они оказали молодому генштабисту необходимую помощь и поддержку. Он привлек внимание руководства Генерального штаба Германии своим докладом о современных средствах ведения разведки. Николаи произвел впечатление на старых, заслуженных генералов рейхсвера и продемонстрировал глубокие, точные, умные суждения и высокую профессиональную культуру. По его собственному признанию, он «способствовал устранению с постов непригодных к делу офицеров разведки, очищая, таким образом, ряды "агентов" от всех обманных элементов».

В 1910 г. Николаи оказался в Эрфурте в должности командира роты. В 1911 г. его рота принимала участие в четырнадцатидневных маневрах и на заключительном смотре была признана лучшей. Выступивший на нем фельдфебель в присутствии высокого начальства преподнес ему от лица подчиненных шпагу с гравировкой «Рота ополчения своему капитану».

В 1912 г. Вальтер Николаи был произведен в ранг майора Генерального штаба, а в начале 1913 г. назначен начальником службы разведки. Он радикально изменил методы работы: первым делом приступил к набору агентов, которые должны были работать на территории противника. Они были внедрены во все сферы, включая политические партии и окружение российского императора. Николаи очень хорошо был осведомлен о решениях Генерального штаба России и российских секретных служб. Для засылки шпионов он использовал все источники, вербуя в свою агентурную сеть светских дам и театральных актеров, предпринимателей и профессоров, революционеров и представителей оппозиции. В одном из своих докладов военному руководству Германии он писал: «Правительство, чей Генштаб может предвидеть минимальные колебания акций на медь, сталь, хлопок, шерсть на бирже, а также следить за производством бензина и пищевых продуктов, нужных для армии, — такое правительство выигрывает сражение, еще не начав войны». Безусловно, этот разведчик-аналитик, талантливый организатор германской спецслужбы, был не чужд позы и бравады, заявляя своему начальству: «Я держу русских в кулаке».

Сам кайзер Вильгельм II высоко ценил Николаи, считая его гением секретной службы. Опыт организации разведывательной службы на Востоке Николаи успешно переносил в Западную Европу. Он лично поехал во Францию и увидел там много неприятного. Французы ненавидели немцев. Они были настроены воинственно и полны подозрений. Французы терпеть не могли прусскую военную форму. За Николаи сразу же установили слежку французские спецслужбы, поэтому он сократил свою поездку и поехал инспектировать филиалы секретной службы в Мельце и Страсбурге.

Своей заслугой как начальника разведки в мировую войну он считал тот факт, что эту войну уже в момент ее объявления он рассматривал как тотальную и мировую и определял свое место рядом с военным командованием. Оценивая свою роль, он писал: «Я создал организацию самостоятельного действия — способный, строгий и наблюдательный орган. Я руководил этой организацией, как шеф разведки управлял этим важнейшим участком работы, а не только приказывал и критиковал».

Для работы в отделе IIIВ Николаи привлек ученых, промышленников, экономистов, создавая копилку знаний, своеобразную энциклопедию по всем вопросам, прибегая в случае необходимости к помощи этих советников. В его лабораториях работали химики и физики. Они разрабатывали для разведки новые симпатические чернила. Другие специалисты работали в области новейших средств связи. Немецкая аристократия имела большие родственные связи с коронованными семьями Европы, а потому должна была также служить Германии, сообщая секреты, которые ей становились известны. Лучшие математики были привлечены к работе криптографической службы и занимались созданием шифров и кодов, равно как и дешифровкой перехваченной корреспонденции противника.

Начальник секретной службы отдал приказ использовать полицию в работе спецслужб. По неписаным законам разведки при необходимости допускалось применять умеренный шантаж. Николаи вдохнул новую жизнь в разведку. При нем ее работа окрасилась в романтические тона и постепенно становилась точной наукой. Николаи ввел в практику стратегическое планирование и использование технических средств.

Высокую оценку его деятельности в годы мировой войны дал генерал Людендорф. В книге «Воспоминания о войне» он писал: «Подполковнику Николаи было поручено руководить средствами печати, следить за настроениями в армии, укрепляя дух солдат. Кроме того, он должен был контролировать работу почты, телеграфа, телефонной сети. Принимать меры против экономического шпионажа. Николаи справился со всеми поставленными задачами, послужив своему отечеству».

Руководитель германской спецслужбы старался следить за всем и немедленно устранял ошибки и недочеты в работе разведывательной службы. Он довел до совершенства службу разведки и контрразведки за границей и внутри страны. В августе 1914 г. немецкие войска форсированным маршем подошли к промышленным городам Франции. Николаи немедленно затребовал техников и специалистов для перевозки конфискованных и демонтированных машин и станков в Германию. Эта работа проводилась методично, по плану, являясь составной частью экономической войны. Кстати говоря, в этих операциях отличился будущий германский дипломат, разведчик и политический деятель Франц фон Папен, которому в 1914 г. было 35 лет.