Нагаи Кафу всю жизнь оплакивал конец старого Эдо, и прежде всего той культуры, которую создали купцы и ремесленники, проживавшие на берегах реки Сумиды к востоку от сёгунского замка. Между тем семья Кафу не была глубоко укоренена в городе, который он так любил. Лишь в 1877 году, через десять лет после революции Мэйдзи, отец Кафу купил землю в Коисикава, на северо-западной окраине Токио. Прежде там располагались большие самурайские усадьбы, например поместье князей Мито, чей клан был связан узами родства с сёгунами Токугава. Поскольку усадьбы самураев после революции приходили в запустение, семья приобрела сразу три соседствующих участка, на которых и был построен новый дом и разбит просторный сад.

Кафу всегда завидовал своему младшему коллеге по перу писателю Танидзаки Дзюнъитиро, истинному «сыну Эдо», происходившему из старой эдоской купеческой семьи. Родители самого Нагаи Кафу приехали в Токио из провинции Овари (ныне окрестности города Нагоя). Отец Кафу, Нагаи Кюитиро, принадлежал к самурайскому роду, служившему еще самому первому из сегунов Токугава. Мать писателя была дочерью известного конфуцианского ученого Васидзу Кидо, занявшего при новом правительстве важный пост в Верховном суде. Васидзу Кидо был к тому же наставником отца Кафу в конфуцианских науках и стихосложении на китайском языке. В семье крепки были старые конфуцианские традиции, и в то же время культивировалась восприимчивость к веяниям новой эпохи, эпохи знакомства с западной цивилизацией, от которой Япония более двух веков была изолирована.

В зрелые годы Нагаи Кафу, который в детстве немало времени проводил у бабушки, описывал её дом в токийском районе Ситая как очень странное место, где «меч соседствовал с крестом». Супруга самурая и ученого-конфуцианца, бабушка хранила в доме не только старые свитки и картины, но и старинное фамильное оружие. Мальчика пугали выставленные в парадных нишах комнат воинские доспехи, казавшиеся ему живыми существами. Но не меньше пугали ребенка и люди, навещавшие порой бабушкин дом: высокорослые европейские леди из церковной общины или миссионер из Берлина профессор Шпинель. Бабушка в 1786 году приняла христианство, а двумя годами позже крестилась и мать Кафу. Младшие братья Кафу также были крещены, а один из них впоследствии стал священником. Однако сам Нагаи Кафу не был религиозен. Ведь в конце XIX века принятие христианства было для многих в Японии скорее приобщением к европейской культуре и образованию, чем духовным откровением.

Отец Кафу был типичным бюрократом новой Японии, всю свою жизнь он успешно продвигался по карьерной лестнице, занимая важные посты в правительстве, а затем в финансируемых правительством больших частных компаниях. Закончив основанную еще сёгунскими властями школу для чиновников, которая как раз в тот период реорганизовалась в Императорский Токийский университет, он был послан на стажировку в Принстон. В последние десятилетия XIX века многие и многие японские юноши отправились за знаниями в Европу и в Америку, с тем чтобы встать в первых рядах реформаторов страны. Нагаи Кюитиро был одним из них.

Вернувшись, он получил назначение сначала в Министерство внутренних дел, а затем в Министерство просвещения, где занимался главным образом финансами. Впоследствии отец Кафу служил в правлении компании «Морские почтовые перевозки» («Нихон Юсэн»). На своего старшего сына он возлагал большие надежды и, конечно, вовсе не мечтал видеть его беллетристом, а связывал его будущее с занятиями почтенными — государственной службой или коммерцией. Однако Кафу с детства не проявил успехов в школе, не сумел поступить в университет и никогда не дорожил теми многообещающими служебными местами, которые отец для него подыскивал. Развелся он и с женой, которую сосватал отец. Более того, когда отец скоропостижно скончался, Кафу с любовницей-гейшей (позже его второй женой) был на горном курорте, и непочтительного сына попросту не смогли отыскать.

Хотя Нагаи Кафу обманул ожидания отца, все же полученное им образование было для своего времени и основательным, и разносторонним. Не говоря уже о семейном воспитании, включавшем как навыки сложения стихов на китайском языке, так и хорошие манеры (умение носить европейскую одежду, вести себя за европейским столом), Нагаи Кафу даже посещал один из первых в Японии детских садов, который существовал при Высшей женской школе (также первой в Японии и позже превратившейся в Женский университет Отя-номидзу).

Когда Кафу поступил в начальную школу, он помимо школьных уроков занимался с наставником изучением классических конфуцианских книг, как это веками было принято в старой Японии. Кроме того, конфуцианская традиция требовала от образованного человека с хорошим вкусом навыков в поэзии и живописи — и Кафу посещал известных учителей как по стихосложению, так и по рисованию. Наброски и карикатуры Нагаи Кафу, сохранившиеся в его наследии, могут служить комментарием к литературному творчеству.

В средней школе Кафу увлекся традиционной японской музыкой. Он продал часы и пальто, чтобы купить флейту сякухатпи — ему очень хотелось научиться играть на этом старинном инструменте. Уроки проходили в квартале гейш Янагибаси, ведь именно гейши были мастерицами различных средневековых школ мелодекламации, хранительницами музыкальных традиций. Гейши и сами по себе волновали сердце молодого человека.

Маскируя под школьные учебники любовные романы уже упоминавшегося Тамэнага Сюнсуй, переписывая в библиотеке запрещенные для переиздания новеллы о веселых кварталах писателя XVII века Ихара Сайкаку, Кафу очень рано проявил интерес к эротике. В восемнадцать лет он впервые посетил квартал публичных домов Ёсивара. В качестве оправдания он позже писал в своих записках, что боялся умереть прежде, чем узнает радости жизни, поскольку был болезненным подростком.

Болезни, в том числе желудочные, действительно сопровождали Кафу всю его жизнь, а в шестнадцатилетнем возрасте (это было в 1895 году) он провел в санаториях и на курортах почти целый год. В тот год он впервые по-настоящему влюбился, девушка была его сиделкой, и звали её О-Хасу, что значит «лотос». Так появился псевдоним Кафу, который означает: «ветерок, овевающий лотосы». Тогда же были предприняты и первые литературные опыты — сиделке О-Хасу был посвящен рассказ, его текст, однако, не сохранился. С этих же пор Кафу стал очень много читать как японскую классику, так и писателей-современников, причем некоторые из них (Хигути Итиё, Огури Фуё, Идзуми Кёка) были лишь немногим старше его самого.

Помешала ли долгая болезнь, или литература окончательно вытеснила все другие интересы, но только поступить в высшую школу (без окончания которой в Японии невозможно учиться в университете) Кафу не смог, провалился на экзаменах.

Отец решил дать возможность нерадивому сыну заняться коммерческой деятельностью и определил его на отделение иностранных языков при Коммерческом училище. После двух месяцев, проведенных всей семьей в Шанхае, где отец возглавлял отделение компании «Морские почтовые перевозки», выбор пал на китайский язык, тем более что классическим письменным китайским языком Кафу занимался с детства. В 1897 году Нагаи Кафу поступил в училище, позже преобразованное в Токийский институт иностранных языков.

Курса он так и не закончил, поскольку был отчислен за частые пропуски занятий. Гораздо больше китайского его интересовал теперь английский язык, который он изучал на вечерних курсах, чтобы читать новинки западной литературы. Кроме того, Кафу поступил «в подмастерья» к одному из популярных беллетристов — именно так следовало начинать самостоятельную писательскую карьеру. Наставника звали Хироцу Рюро (1861–1921), современникам были хорошо известны его трагические пьесы и рассказы из жизни полусвета и городских низов.