Поездка оказалась не совсем бесплатной для Фишеров. Хотя Локс, человек состоятельный, мог покрыть расходы всех участников, но он бережливо выбирал, где и на что, когда и как тратить свои деньги. Иногда команда останавливалась у довольно дорогого ресторана, и он громко объявлял: «Можете заказывать что хотите, кроме алкоголя». Но временами Бобби и Регине приходилось платить за себя самим.

На Юге Бобби впервые столкнулся с проявлениями расизма. Черным всё еще не разрешалось сидеть у стойки бара. Бобби приходилось спрашивать у матери, что означает надпись на фонтанчике для питься: «Только для цветных». Регина приходила в ярость при проявлениях расовых предрассудков, но остальные на это внимания не обращали.

Один из мужчин начал намекать остальным, что собирается соблазнить Регину, и сообщил, что, по его мнению, она не станет возражать; и однажды ночью он стал общим посмешищем, когда Регина твердо отказала ему во входе в свою комнату.

Втиснутая в автомобиль, группа иногда уставала от разговоров на шахматные темы, и тогда вспоминались другие приключения, реальные или мнимые. Уитейкер выдавал, по меньшей мере, одну шутку в день, как правило, безвкусную: «Я знаю женщину, готовую мне заплатить тысячу долларов, чтобы увидеть меня голым: она слепая». Бобби часто просил пояснить ему их смысл. «Сынок, попозже я тебе всё объясню», — обязательно вставлял кто-нибудь.

Во время шестичасового путешествия на пароме от пристани на Дювал-стрит, район Ки-Уэст, до Гаваны Бобби и другой шахматист, Роберт Хьютон, решили играть «вслепую», представляя невидимую доску и делая воображаемые ходы. Но когда они достигли 9-го или 10-го хода и позиция стала сложной, задачи, которые нужно было решать Хьютону, оказались для него неподъемными, и он не смог продолжать. Для Бобби позиция осталась столь же ясной, как если бы она была расставлена на доске перед ним. После еще нескольких попыток играть без доски и фигур, матч «вслепую» соперники прекратили и продолжили его на карманных шахматах. Бобби выиграл десяток быстрых партий, не потерпев ни единого поражения.

Гавана в 1956 году была развеселым и порочным городом. Туристические агентства представляли его «Жемчужиной Антилл», но его чаще и с долей провокации называли «самым сексуальным городом в мире». Город славился распущенностью нравов, его переполняли казино, бордели, уличные проститутки, бутылка рома стоила лишь 1.25 доллара. Более 250.000 американских туристов побывало в Гаване в том году, большинство с целью провести один-два «игривых» уик-энда. Но члены клуба прибыли сюда для игры в шахматы, и хотя не исключено, что некоторые его представители посещали небезызвестный Шанхайский театр или другие злачные места по ночам, но почти каждый день команда играла матч.

Но главный командный матч против шахматного клуба Капабланки стал для американцев разочарованием: хотя Бобби и Уитейкер выиграли свои партии, пятеро других американцев проиграли. Бобби дал сеанс одновременной игры на 12-ти досках против членов клуба и выиграл десять партий при двух ничьих, — «для развлечения, не за деньги», — поторопился разъяснить мальчик. Позднее он подытожил полученный опыт: «Кубинцы относятся к шахматам серьезней… Они более похожи в отношении к ним на меня. Шахматы, как сражение, и я люблю побеждать. Они тоже».

«Нью-Йорк Таймс» отметило «Лог Кэбин»-тур заголовком: «ШАХМАТНАЯ КОМАНДА ЗАВЕРШИЛА СВОЕ ТУРНЕ». В статье отмечалось, что кэбинеры закончили его с отрицательным счетом; они набрали 23,5 очка и потеряли 26,5, но Уитейкер и Бобби стали «забойщиками» в клубных матчах, показав результат 5,5:1,5 каждый, не считая десяти побед Бобби в сеансе.

После трехнедельного приключения возвращаться в Бруклин и школу Бобби не хотелось, но… привычная необязательность посещения занятий и возможность играть с друзьями в шахматы в Манхеттенском клубе позволили пережить «неприятность». Ретроспективно он говорил, что вспоминает с удовольствием четыре года обучения в школе «Коммьюнити Вудворт», главным образом из-за того, что неструктурированная рутина позволяла «вставать и болтаться по комнате сколько душе угодно» и одеваться, как вздумается («обычно рубашки поло, джинсы или вельветовые брюки»). Ему также нравился его статус представляющего школу шахматного игрока. В итоге не Бобби приспосабливался к учителям и требованиям администрации, а скорее наоборот. Когда в июне 1956 года настал момент выпуска из 8-го класса, Бобби решил не посещать церемонию, поскольку не хотел отказываться от дневной партии в шахматы и также потому, что ему не нравились «любые формальности и торжества». Ему исполнилось 13 лет, и он намеревался посвятить лето шахматам. Хотя он поступал в среднюю школу в сентябре, этот переход, столь ожидаемый многими детьми, его мало интересовал.

Джек Коллинз, один из самых замечательных шахматных учителей, жил со своей сестрой Этель в Бруклине и «держал» шахматный салон в своей квартире, носивший имя «Шахматный клуб им. Готторна». Салон был открыт практически для любого, кто хотел сыграть с хозяином партию или чему-то у него научиться. Стоит отметить, что иногда плата за уроки для некоторых учеников носила символический характер. Хозяин был добродушным и высокообразованным человеком, отличался великолепным чувством юмора. Некоторые из великих игроков США — его ученики, как, например, братья Бирн и Уильям Ломбарди. Апартаменты Коллинза полнились сотнями шахматных книг, рисунков и статуэток на шахматные темы, а мебель и обивка были украшены шахматными фигурами; квартира походила на музей шахмат. Джек обменялся несколькими словами с Бобби, когда они встретились на Асбери-парк, Нью-Джерси, на чемпионате США среди любителей, проводившемся на уик-энд в День поминовения 1956 года. Коллинз пригласил Бобби посетить его салон, и двумя неделями позже мальчик возник на пороге квартиры. Вот что написал Коллинз о первом визите Бобби:

Точно так, как Бобби вошел — и там обосновался — в манхеттенский шахматный клуб предыдущим летом, точно так же он стал завсегдатаем салона Коллинза. Располагался дом учителя всего в нескольких кварталах от «Эразмской средней школы», и Бобби частенько уходил из нее во время ланча и не только, чтобы сыграть с Коллинзом, поедая захваченный из дома сэндвич, а затем возвращался в школу. В три часа пополудни он вновь был у Коллинзов, где и проводил остальное время за доской. Он обедал с Джеком и Этель, причем два приятеля нередко и за едой продолжали играть или анализировать. Бобби не расставался с доской и вечером до момента, пока не прибывали Джоан или Регина, чтобы эскортировать его домой. Бобби и Джек сыграли между собой тысячи партий — по большей части, быстрых — проанализировали сотни позиций и решили десятки шахматных задач. Бобби также постоянно брал книги из библиотеки Коллинза. Низкорослый человек, прикованный к инвалидному креслу, и взрослеющий мальчик вместе ходили в кино, обедали в ресторанах, посещали клубные шахматные события, а также праздновали дни рождения и проводили выходные. Дом Коллинза стал домом для Бобби во всех отношениях, мальчика стали считать членом семьи.