День ото дня финансовое положение журнала становилось всё более сложным и запутанным, и в итоге По пришлось отказаться от единоличного правления — 3 декабря 1845 года он продал половину доли в "Бродвей джорнэл" Томасу Лейну, издателю и таможенному чиновнику из Нью-Йорка. К этому моменту поэт дошел до такой степени нервного истощения, что честно признавался: "В первый раз за последние два месяца я чувствую себя самим собой — отвратительно больным и в депрессии, но все-таки самим собой. Словно я очнулся от ночного кошмара… По правде говоря, я подозреваю, что был безумен".

Результат не замедлил проявиться обычным для По образом — в конце декабря 1845 года у него начался очередной запой. Это тоже не улучшило положения дел в журнале, и 3 января 1846 года Томас Лейн объявил о закрытии "Бродвей джорнэл". По даже не попытался спасти свое неудачное детище — его единственная попытка создать собственный "идеальный журнал" ушла в прошлое. Он лишь опубликовал в последнем номере следующее обращение: "Прощальное слово к читателям. Ввиду неотложных дел, требующих моего полного внимания, а также учитывая, что цели, ради которых был создан "Бродвей джорнэл", в том, что касается моего личного участия, достигнуты, я хотел бы настоящим проститься с друзьями, равно как и с недругами, пожелав и тем и другим всяческих благ. Эдгар А. По".

Неудачи больно били по поэту, но он старался "держать удар", стремясь выглядеть перед окружающими сильным и несокрушимым человеком. Удавалось это всё хуже и хуже. Поэт Ричард Стоддард вспоминал, что как-то встретил По в Нью-Йорке "пасмурным осенним днем, уже клонившимся к вечеру. Внезапно полил сильный дождь, и он укрылся под каким-то навесом. Со мной был зонтик, и первым моим побуждением было предложить По дойти вместе со мной до дома, но что-то — разумеется, не равнодушие — остановило меня. Я пошел своей дорогой, оставив его там, под дождем — бледного, дрожащего, несчастного…"

Однако столь же часто поэта встречали совсем другим — "злым, угрюмым, пьяным" (по словам того же Стоддарда). Эдгар Аллан По всё больше и больше превращался в литературного изгоя и отщепенца.

И своими очередными поступками, в том числе и в журналистской сфере, он только упрочивал эту репутацию. Весной 1846 года По засел за несколько обзорных статей о местных литераторах, позднее названных им "Писатели Нью-Йорка: несколько беглых заметок, содержащих честные оценки их авторских достоинств и кое-что о них самих". Предназначались эту тексты, которые Эдгар По ранее планировал назвать "Американский Парнас", для издания в филадельфийском журнале "Годис лейдис бук". В этих заметках он дал волю своей желчи и ярости, с ненавистью обрушиваясь на то, что По поименовал "прогнившей сущностью нашей повседневной критики". Сказать, что он был до конца необъективен, значит исказить реальность. Многие из упомянутых им литераторов заслуживали и не таких жестких характеристик. Но в ряде других случаев По все-таки переходил грань и объективности, и даже просто честной журналистики, опускаясь до откровенных ругательств и лжи.

Так, он писал, что известный литератор Льюис Гейлорд Кларк, редактор журнала "Кникербокер", "нерешителен, невнятен и бесхребетен — у яблока или тыквы больше углов… Он ничем не проявил себя в современном мире и ничем не примечателен, разве что тем, что ничем не примечателен". По не только печатно изругал своего старого знакомого и даже бывшего друга Томаса Данна Инглиша, но и заявил, что лично с ним никогда не был знаком. Досталось и другим писателям, поэтам и критикам — например, Чарльзу Бриггсу.

Публика с жадностью набросилась на критические заметки По, а литературный истеблишмент Нью-Йорка пришел в неописуемую ярость.

Обиженный Льюис Гейлорд Кларк поспешил написать в "Кникербокере", что Эдгар Аллан По "ничтожный пьяница", и рассказал: "Третьего дня По пришел в нашу редакцию в жалком состоянии полного отупения, и нездоровая его внешность несла на себе свидетельства неправильного образа жизни, да и говорил он довольно невразумительно… Сопровождала его пожилая родственница, которая устала ходить по жаре, но следовала за ним шаг в шаг, чтобы помешать ему напиться; однако он каким-то образом ухитрился уйти от ее недреманного ока и уже был сильно навеселе". Другие газетные выпады были ничем не лучше — Томас Данн Инглиш напрямую обвинил Эдгара По в мошенничестве, обмане и плагиате. Не побрезговал он в ходе своих нападок и неприкрытой клеветой: "Другой поступок г-на По помог мне узнать его еще лучше. Некий нью-йоркский коммерсант обвинил По в подлоге, и тот явился ко мне за советом, как наказать обидчика. И поскольку у него не хватало смелости вызвать этого господина к барьеру или дать ему достойную отповедь, я предложил ему возбудить судебное дело как единственно остающуюся возможность. По его просьбе мной был найден поверенный, который, из уважения ко мне, согласился взяться за дело, не требуя обычного в таких случаях задатка. Сперва г-н По горел желанием немедля начать процесс. Однако, как только настало время действовать, пошел на попятную, по существу признав тем самым справедливость обвинения".

Это было уже явным перебором, и По поспешил наказать подставившегося бывшего приятеля — он подал в суд на газету "Нью-Йорк миррор", напечатавшую выпады Инглиша. (Кстати, в феврале 1847 года суд поэт выиграл и даже получил 492 доллара компенсации за моральный ущерб. Позднее Томас Инглиш отомстит Эдгару По, вновь изобразив его никчемным пьяницей в своем романе "1844". Там он выведет его под псевдонимом "критик Мармадьюк Молот", про которого напишет, что "он никогда не напивается больше пяти дней из семи; говорит правду лишь по ошибке; имеет моральное мужество, достаточное, чтобы избивать жену, когда он думает, что она этого заслуживает, а иногда и просто так… Он никогда не бывал трезвым более двадцати четырех часов подряд".)

На фоне этих литературных дрязг вновь ухудшилось состояние Вирджинии. Возобновились горловые кровотечения, и По решил, что его жене будет полезнее пожить вне Нью-Йорка, с его гарью, смогом и чадом. Вначале семья поэта какое-то время снимала дом у Ист-ривер, а в конце мая 1846 года Эдгар По вместе с женой и тещей перебрался в Фордхем, деревню, находившуюся в двадцати километрах севернее Нью-Йорка.

Герви Аллен четко описывает новое пристанище семьи По: "В сороковые годы прошлого века Фордхем был маленькой сонной деревушкой, вытянувшейся вдоль старого проезжего тракта Кингсбридж Роуд. Местечко брало начало от заложенного там в 1676 году крупного поместья. Коттедж, в котором поселились По, размещался на треугольном участке земли площадью около акра как раз там, где Кингсбридж Роуд поворачивала на восток, к деревне. В этом небольшом домике с широкими дверями и забранными частым переплетом окнами было четыре комнаты — по две на каждом этаже, кухня с открытым очагом и пристройка для скота. Спереди — маленькая веранда, "увитая побегами жасмина и жимолости и уставленная горшочками с дивными цветами", как писал По. Он вспоминает также "яркую зелень тюльпановых деревьев, частично затенявших дом, и идущие от него в разные стороны дорожки, выложенные большими и гладкими, неправильной формы гранитными плитами… утопающими в чудесном мягком дерне, не плотно пригнанными, с пробивающимся в частых промежутках бархатистым мхом". Крыша была в ту пору из темной сосновой дранки.