В Балтиморе, на тот момент — третьем по величине городе США, остатки семейства «генерала По» ютились в квартирке на Уилкс-стрит. Реальным главой разношерстной семейной общины, куда входила престарелая бабушка Эдгара с отцовской стороны, его родной брат Уильям Генри Леонард, а также его кузен и кузина — Генри и Вирджиния, — была Мария Клемм, младшая сестра Дэвида По. (Эдгар любил ласково называть ее Мадди.)

Тетя поэта рано овдовела, оставшись с двумя детьми на руках, и почти не имела средств к существованию. Всей семье порой приходилось месяцами существовать на пенсию, которую выплачивали бабушке Элизабет По как вдове «героя революции».

Марии Клемм нередко приходилось играть на сердобольности и добросердечии соседей. В траурном наряде вдовы, с большой плетеной корзинкой в руках она обходила соседние улицы Балтимора, прося помочь любыми продуктами. И соседи обычно не отказывали.

Не добавляло процветания балтиморской ветке семейства По и запойное пьянство Уильяма Генри, старшего брата Эдгара. Семейный недуг подкосил его очень рано, он остался без работы, а вскоре и заболел туберкулезом (еще одной фамильной хворью потомков Дэвида По-младшего).

Поэтому появление в этом семейном аду Эдгара, которого все восприняли как богатого родственника с Юга, действительно казалось «лучом света в темном царстве». Особенно привязалась к двоюродному старшему брату семилетняя Вирджиния Клемм, ходившая за поэтом буквально по пятам.

К сожалению, вскоре выяснилось, что больших денег у родственника из Ричмонда не водится, хотя первое время Эдгар и смог поддержать балтиморскую «семейную общину». Обитая в мансарде дома на Уилкс-стрит, По продолжил активно писать стихи и, видимо, прозу. Некоторые из его сочинений удалось опубликовать в периодике, а в декабре 1829 года, пусть и тиражом лишь 250 экземпляров, в свет вышел уже упомянутый поэтический сборник. И пусть это была полунищенская, тяжелая, но все-таки настоящая жизнь писателя, вкус к которой почувствовал Эдгар По.

Однако резко разорвать со старыми привычками и кругом общения, с вырастившей его семьей Алланов, с родным Ричмондом он еще не мог. Тем более что вроде бы представился новый шанс получить солидное образование — в марте 1830 года было принято решение зачислить Эдгара Аллана По в курсанты военной академии Вест-Пойнт.

И вот 20 июня 1830 года поэт наконец-то прибыл в оплот американского высшего военного образования, находящийся на берегу Гудзона.

К несчастью, служба курсантом в Вест-Пойнте оказалась суровее, нежели служба писарем в захолустного гарнизоне. В академии жизнь подчинялась жесткому распорядку, а слушатели вели напряженные занятия. Герви Аллен отмечает: «Рассчитанный на четыре года курс предусматривал изучение естествознания, философии, химии, высшей математики, инженерного дела, баллистики, черчения, географии, истории, этики, национального законодательства и французского языка. Столь насыщенная программа почти полностью лишала досуга питомцев Вест-Пойнта. День начинался ранним подъемом; после завтрака (наверняка не слишком обильного) кадеты расходились по классам, где проводили несколько часов; затем обедали и в четыре пополудни возвращались в казармы, чтобы переодеться для строевых занятий, которым почти целиком отводился остаток дневного времени. После ужина снова шли в классы. В девять часов вечера звучал сигнал „в казармы“, а вскоре вслед за ним — „тушить огни“. Увольнения были редкостью, праздники — еще большей. Времени предаваться мечтам оставалось немного».

При этом интеллектуально занятия в академии не вызывали у По ровным счетом никаких проблем. Его сослуживец Аллан Магрудер вспоминал о своем знакомце из Ричмонда: «Он отлично знал французский и проявлял настолько замечательные способности к математике, что у него не было никаких трудностей при ответах по этим предметам в своем классе и при получении по ним самых высоких оценок». И действительно, в результате семестровых экзаменов По стал на курсе семнадцатым — по математике и третьим — по французскому языку. Зато жесточайшая дисциплина стала откровенно раздражать молодого поэта. Тем более что пару раз у него случались алкогольные срывы, вызванные, видимо, стрессом и обострившимся нервным расстройством. Уверяли даже, что он засыпал пьяным на посту в караулке.

Однако запои молодого поэта рано или поздно бы завершились — пьянство у По всегда сменялось длительными периодами воздержания от алкоголя и повышенной работоспособности. Значительно хуже было другое — почти полное отсутствие времени и сил для свободного творчества. Здоровье Эдгара По к 1830 году заметно пошатнулось, он выглядел старше своих лет. Его сослуживцы-курсанты даже шутили, что поэт записал в академию сына, тот умер, и отцу пришлось осваивать армейские премудрости за него. Томас Гибсон, также один из коллег Эдгара По по Вест-Пойнту, так вспоминал о внешности писателя в те годы: «В то время По, хотя было ему всего двадцать лет, выглядел гораздо старше своего возраста. Лицо его не покидало усталое, скучающее и недовольное выражение, надолго запоминавшееся тем, кто его близко знал. Всякая шутка на его счет легко приводила По в раздражение…»

Вест-Пойнт. Современный вид

Измученный Эдгар Аллан По все же пытался сочинять стихи в свободное время, хотя чаще всего из-под пера ричмондца выходили не лирические и элегические строки, а сатиры на начальство или эпиграммы на друзей. Юмористические стишки добавляли По популярности у сослуживцев, но ничуть не приближали его к главной цели в жизни — участи свободного литератора.

Поддержку он нашел только у начальника академии полковника Сильвануса Тайера, с интересом ознакомившегося с предыдущими книгами поэта. Полковник Тайер решил помочь издать новое собрание стихотворений Эдгара По, для чего среди курсантов Вест-Пойнта была организована специальная денежная подписка. Сто тридцать один из двухсот тридцати двух сослуживцев поэта охотно подписались на это издание, заранее заплатив по семьдесят пять центов за экземпляр.

А тем временем позиции Эдгара По в Ричмонде сильно ухудшились — проведя полтора года на положении вдовца, Джон Аллан решил жениться второй раз. Он сочетался вторым браком с дамой с Севера — тридцатилетней жительницей Элизабеттауна (штат Нью-Джерси) Луизой Габриэллой Паттерсон. Новоявленная мачеха и слышать не желала о каких-либо правах так и не признанного пасынка, заочно отнесясь к Эдгару с откровенной неприязнью.

Между поэтом и его отчимом постепенно назревал очередной разрыв, который резко обострила одна коллизия, связанная с первым периодом службы Эдгара По в армии США. Нанятый на замену пасынку Джона Аллана, сержант Сэмюэль Грейвз так и не получил часть обещанных ему денег. Он начал письменно требовать их от Эдгара По, но тот ответил, что обещанную сумму ему не передал отчим, поскольку «редко бывает трезвым». Сержант Грейвз сообщил об этом ответе Джону Аллану, и вирджинский торговец пришел в ярость. Уж в чем в чем, а вот в пьянстве он, в отличие от приемного сына, никогда замечен не был. По здравом размышлении богатый ричмондец, как позднее утверждала его вторая жена, все же «послал ему (сержанту) деньги и лишил По своей благосклонности».