Один из пяти сыновей Ивана Ивановича, Александр (1788 — после 1836) также рано выбрал военную службу — 18 ноября 1807 года он вступил в Уланский Его Императорского Высочества Цесаревича и Великого Князя Константина Павловича полк и 7 ноября 1808-го был произведен в корнеты. В его формулярном списке, датированном 1811 годом, сказано: «В походах и делах против неприятеля не бывал. По-российски, французски, немецки и по-латыни читать и писать умеет, фортификации, физики, натуральной истории, геометрии, географии, всеобщей истории, химии, минералогии, арифметики и фехтовать знает… В штрафах и под судом не был. Повышения достоин». Впрочем, «в походах и делах» гвардейскому уланскому корнету Панаеву 2-му довелось поучаствовать уже совсем скоро — впереди были Отечественная война 1812 года и Заграничные походы русской армии. Сражался Панаев мужественно, о чем свидетельствует врученная ему 3 июня 1813 года почетнейшая боевая награда — Золотое оружие с надписью «За храбрость». Закончил свою армейскую карьеру Александр Иванович в чине полковника. В 1834—1836 годах он занимал должность предводителя дворянства в Лаи-шевском уезде Казанской губернии, владея там 306 крепостными душами и 1145 десятинами земли.

От отца Александр Иванович унаследовал склонность к изящной словесности — он пробовал силы в литературе, публикуясь под псевдонимами «Адонис». «Древнегреческое» имя не было случайным — Александр разделял с младшим братом Владимиром, известным в 1820-х годах поэтом, увлечение Античностью и даже имена своим сыновьям дал соответствующие: Валериан, Илиодор, Аркадий, Ипполит и Кронид. Трое из пятерых братьев, как и их отец, не чуждались пера. Среди них был и Аркадий Александрович Панаев, родившийся 6 августа 1821 года. С детства по настоянию отца он выбрал военную карьеру — окончив кадетский корпус, служил в одной из самых заслуженных кавалерийских частей России — Уланском Генерал-Адъютанта Князя Чернышева полку, где занимал должность адъютанта при князе А.С. Меншикове. 25 августа 1854 года А.А. Панаев был произведен в подполковники, за участие в Крымской войне в 1855 году удостоился боевого ордена Святого Владимира 4-й степени с бантом, а 5 февраля 1856-го получил такую же награду, как отец, — Золотое оружие с надписью «За храбрость». В 1859 году Аркадий Александрович вышел в отставку с производством в чин полковника, но и после этого занимал ответственные посты — в частности, был управляющим имением императрицы Марии Александровны «Ливадия». В 1877 году в двух томах сборника «Русская старина» были опубликованы мемуарные заметки А.А. Панаева о князе А.С. Меншикове.

По воспоминаниям знавших его людей, отставной полковник Панаев «был человек до самозабвения честный и точный в исполнении служебного долга, имел нрав прямой, рыцарский. Прекрасный кавалерист, он очень любил лошадей и был в них большой знаток. Панаев был человеком во всех привычках и взглядах своих чисто русским, отличался большой набожностью».

Аркадий Александрович долго мечтал о счастливой семейной жизни, но женился уже немолодым человеком. Его избранницей стала Вера Николаевна Одинцова. Она тоже происходила из семьи с крепкими военными корнями — ее отец Николай Иванович был поручиком, дед, Иван Иванович, — секунд-майором. 14 ноября 1878 года в семье появился первый ребенок, которому дали имя Борис. Счастью 57-летнего отца не было предела: он души не чаял в своем первенце, сам купал и одевал его (для тех лет это выглядело очень необычно). Между Аркадием Александровичем и Борисом быстро установилась особая тесная связь. Знакомые Панаевых вспоминали, что седобородый полковник в отставке и малыш Боря могли часами вести тихие доверительные разговоры о чем-то, понятном только им двоим.

3 апреля 1880 года в семье родился второй сын — Гурий. От скрытного и застенчивого старшего брата он отличался ловкостью и смелостью. Уже в пятилетнем возрасте Гурий мог забраться в Ливадии на кипарис и раскачиваться на его верхушке, не боясь упасть. Запомнился в семье и такой случай: однажды на конюшню Панаевых заползла гадюка. Пока кучера и конюхи совещались, как бы подступиться к ядовитой змее, маленький Гурий невозмутимо подошел к ней с топором в руках и одним ударом разрубил гадюку пополам.

С годами семья Панаевых разрасталась: 31 августа 1882 года на свет появился сын Лев, а 10 ноября 1884 года — Платон. К этому времени Панаевы уже обосновались в дворцовом пригороде Петербурга Павловске. В 1887-м старший из сыновей, Борис, поступил во 2-й кадетский корпус, расположенный в большом старинном здании на Петербургской стороне. Желание сына связать жизнь с армией не удивило ни Аркадия Александровича, ни Веру Николаевну — они и не предполагали для своих сыновей иной судьбы, кроме как служение Отечеству.

К несчастью, тихое семейное счастье четы Панаевых оказалось недолгим. 1 апреля 1889 года полковник в отставке А.А. Панаев скончался на 69-м году жизни и был похоронен в Павловске.

Борис, которому было уже десять, очень тяжело переживал смерть любимого отца. И без того застенчивый и сдержанный, он еще больше замкнулся в себе и словно перешел в следующий внутренний возраст: из мальчика стал сразу маленьким мужчиной, твердо знающим, чего именно он хочет от жизни. Целиком сосредоточившись на учебе, он быстро стал лучшим по успеваемости кадетом своего курса.

2-й кадетский корпус, где учился Борис, считался третьим по старшинству корпусом России. Он имел длинную и славную историю, восходившую к основанной в 1701 году Московской пушечной школе. В декабре 1762 года на ее базе в Петербурге был создан Артиллерийский и инженерный шляхетский кадетский корпус, в дальнейшем не раз менявший название и в 1864-м преобразованный во 2-ю Санкт-Петербургскую военную гимназию. 22 июля 1882 года эта гимназия стала именоваться 2-м кадетским корпусом, в котором училось 350 кадет, сведенных в три роты. Петербургские кадеты гордились именами своих великих предшественников, героев Отечественной войны 1812 года — М.И. Голенищева-Кутузова-Смоленского, В.Г. Костенецкого, П.М. Капцевича, П.П. Коновницына, И.С. Дорохова, А.Н. Сеславина, А.С. Фигнера. Сами про себя кадеты сложили такое двустишие: «Кто по строю молодецкий? То лихой Второй кадетский».

Срок обучения в кадетских корпусах с 1873 года составлял семь лет. Программа и учебный план в целом соответствовали программе обычного реального училища, но были более насыщенными. Так, на Закон Божий в корпусах было отведено 18 часов, в то время как в реальном училище — 12, на русский язык и литературу — соответственно 33 и 26, математику — 42 и 38, естественные науки — 20 и 20, историю и географию — 24 и 22. Особенно велик был разрыв в иностранных языках: кадеты налегали на них 54 часа в неделю, в то время как их «штатские» сверстники — только 27. Выпускники кадетских корпусов не были обязаны в дальнейшем поступать в военное училище, но гражданскую карьеру после корпуса выбирали только девять из ста бывших кадет.

В корпусе Борис Панаев быстро завоевал всеобщее уважение. После смерти отца никто из соучеников не видел Бориса смеющимся и редко когда — улыбающимся. Молчаливый, замкнутый подросток обращал на себя внимание своей набожностью. И еще однокашники знали, что Борис всегда придет на помощь, выручит, о чем бы ни шла речь. Так, когда однажды кадет вели в театр, Панаев уступил свое место приятелю: ему очень хотелось попасть на спектакль, но он знал, что другу хотелось еще больше.