Его проживание на Орандж-авеню не стало постоянным, он начал арендовать жилье в бедных кварталах Лос-Анджелеса рядом с МакАртур-парк, снимая комнаты в домах, которые можно назвать ночлежками, иногда на одну ночь или неделю.

В скором времени его — непричесанного, физически несобранного — уже было не отличить от остальных опустившихся обитателей этих районов. Его десять 400-долларовых костюмов хранились на каком-то складе, но он, как-будто, и думать бросил о том, чтобы прилично одеваться. Он перестал работать регулярно, отрастил брюшко, одевался во что попало, редко брил бороду или делал прическу у парикмахера, у него даже выпали пломбы из зубов.

Это последнее обстоятельство было так раздуто за многие годы прессой, что вошло в книгу «Бобби Фишер — городские легенды», в качестве доказательства его «сумасшествия». Где-то как цитата приводились якобы его слова о том, что он удалил пломбы из-за опасения, как бы советские не повредили ему мозг, посылая вредоносные радиосигналы через металл в его зубах — и едва ли не в каждой книге о Бобби или биографической справке с тех пор упоминается эта выдумка. Либо цитата была выдумана или запомнилась неверно, или Бобби издевался над журналистом, который записал всё это. Правда состояла в том, что он удалил пломбы по причине, как он полагал, разумной заботы о своем здоровье. Он сочувствовал Этель Коллинз, поскольку она страдала от хронических проблем с деснами.

Бобби верил, что вставные зубы и металлические пломбы (особенно серебряные) вредили периодонтальному здоровью, поскольку раздражали десны. Он был также убежден, что ртуть, содержавшаяся в большинстве пломб, оказывала токсический эффект на его тело.

Поэтому Бобби попросил дантиста удалить все пломбы в блиц-режиме (процедура заняла несколько минут), и он рекомендовал Этель сделать то же самое. Он признавался, что есть без пломб «неудобно», но это лучше, чем потерять все зубы, а именно так — считал Бобби — произойдет, если пломбы сохранить.

Через много лет в Исландии он сказал своему близкому другу Гардару Сверриссону, что история о «радиосигналах» через пломбы была выдумкой: причина, по которой он их удалил, заключалась в том, что пломбы создавали проблем больше, чем решали.

Но плохо было то, что зубы без пломб теряли поддержку и стали более хрупкими. Они легче портились, и начали постепенно разрушаться. Со временем он потерял много зубов. Поскольку он больше не верил в визиты к дантистам (да и не мог их себе позволить), в коронки, импланты или вставные зубы, его плохие и недостающие зубы еще более делали его похожим на бродягу.

Несмотря на сердечное общение с Коллинзами и его попытку обратить их в свою веру относительно теории заговоров, он глубоко ранил Джека Коллинза, отказавшись написать предисловие к его книге «Мои семь шахматных вундеркиндов» (1974). Джек сказал ему, что если тот просто напишет коротенькое предисловие, то он сумеет получить солидный аванс у издателя. Коллинзу нужны были деньги, — он не бедствовал, но ему постоянно их не хватало, поскольку жить приходилось на зарплату Этель, работавшей сиделкой на неполной ставке. Свою просьбу он выразил в сердечной форме без просительных ноток, но Бобби в своей безжалостной манере ему даже не ответил. Пришлось Ломбарди его замещать.

Когда Бобби начинал себя чувствовать непереносимо одиноко, он направлялся на север в Пало-Альто погостить у сестры и ее мужа, Рассела Тарга, ученого из Стэнфордского института, специалиста по экстра-сенсорному восприятию. Джоан была еврейкой, как и Рассел и их трое детей, и после многократного выслушивания его антиеврейских тирад семья попросила своего гостя к ним больше не приезжать.

Недалеко от Джоан проживал его друг гроссмейстер Петер Байасас с женой Руфью, и Бобби гостил у них по несколько недель. За четыре месяца Фишер и Байасас сыграли семнадцать пятиминуток, и Бобби выиграл все. Байасас утверждал, что ему ни разу не удалось добраться до эндшпиля: Бобби стирал его с доски в очень короткое время.

Трижды Бобби ездил в Беркли, расположенный в районе гавани Сан-Франциско, чтобы повидаться с Уолтером Брауном, австралийско-американским гроссмейстером. Они разбирали несколько партий Брауна из его последних турниров, но в шахматы не играли. Однажды они предприняли долгую прогулку на закате, чтобы полюбоваться прекрасным видом на город через залив. Во время прогулки Бобби долго разглагольствовал относительно Всемирного еврейского заговора и сделал много антисемитских замечаний, но когда они вернулись и сели ужинать вместе со всей семьей, Бобби прекратил свои бредни. На третий визит Бобби остался ночевать у Брауна. После ужина он попросил воспользоваться их телефоном и говорил по межгороду весь остальной вечер — «часа четыре», вспоминал позднее Браун, который в конце концов не выдержал и сказал: «Знаешь, Бобби, прекращай разговор, мне это не по карману». Бобби положил трубку и тотчас сказал, что ему нужно срочно уезжать и что он не может остаться на ночь. Больше они никогда не разговаривали.

Вернувшись в Лос-Анджелес Бобби написал матери, спрашивая, когда она сможет его навестить с надеждой на ответ «скоро», и посоветовал ей плыть из Англии, а не лететь. Он рассказал, что его прошлые морские путешествия оказались «новым опытом». В конце письма последовали инструкции: «Напиши мне на почтовый ящик и не включай мое имя в адрес. Это не обязательно».

Он просто не хотел общаться с незнакомыми людьми, и категорически потребовал от Джека Коллинза, чтобы никакой почты — даже важной, хвалебной или личной — ему не пересылали. Возможно, его беспокоило, что письмо могло содержать яд, а пакет — взрывчатое вещество.

Шахматные коллеги Бобби — включая Роберта Бирна — говорили, что настоящей причиной его уединения и нежелания, чтобы хоть кто-то знал, где он находится в данный момент, был страх — он боялся убийц из КГБ. Бобби верил по их словам — что советские были взбешены его победой над Спасским и, следовательно, принижением их великих культурных достижений, и потому намеревались его убить. Конечно, страхи Бобби многими рассматривались как проявление зарождающейся паранойи, и хотя крайне маловероятно, что КГБ плело заговор против него, даже у параноиков могут быть настоящие враги. В рестораны Бобби всегда приходил со своими лечебными препаратами и снадобьями, способными, по его мнению, мгновенно обезвредить яды, которые могли подсыпать ему в пищу или подлить в напитки агенты КГБ. Ханс Рее, голландский гроссмейстер и опытный журналист, подытожил: «Безусловно, у Фишера были невыдуманные враги, по-настоящему могущественные». Он далее указал, что Михаил Суслов, один из наиболее влиятельных лидеров в СССР, издавал инструкции по свержению (не убийству) Бобби путем создания обстановки, «неблагоприятной для Фишера». Рее заключил: «В документах [КГБ] нет ничего, что указывало бы на наличие в его недрах планов физического устранения Фишера. Но это не значит, что таковых планов не было вообще». Важно то, что Бобби был убежден в их наличии и действовал соответственно.

Частично желание Бобби уединиться может быть объяснено его чтением. Ницше говорил, что одиночество делает нас жестче в отношении самих себя, и более мягкими по отношению к другим. Он считал, что и то, и другое улучшает характер человека. И поскольку Ницше оказал на Бобби некоторое влияние, тот, возможно, стал следовать его курсом, не отклоняясь ни на йоту. Отказываясь читать письма, которые могли быть хвалебными, или те, что могли пойти ему на пользу, как, например, письма от старого друга или содержащие приглашение быть почетным гостем в Вест-Поинт (Военная академия США), он намеренно поддерживал свое уединение.