Растин учился в Университете Уилберфорса в штате Огайо, а затем в Университете Чини в Пенсильвании. Позднее ему пришлось переехать в Нью-Йорк. В Гарлеме он сразу нашел для себя много дел: вступил в несколько организаций левого толка и одновременно на добровольных началах стал помогать соратникам Рэндольфа, которые хотели организовать марш на Вашингтон. Он вступил в пацифистскую христианскую организацию «Содружество примирения» и быстро занял в ней высокое положение. Пацифизм для Растина был образом жизни. Он указывал ему и путь к добродетели, и стратегию перемен в обществе. Путь к добродетели означал, что следует подавлять в себе личный гнев и агрессивные наклонности. «Единственный способ сделать мир менее уродливым — это сделать менее уродливым себя», — говорил Растин. Пацифизм как стратегия перемен, писал он позднее в письме к Мартину Лютеру Кингу, «покоится на двух столпах. Один — это сопротивление, постоянное военное сопротивление. На злодея оказывается такое давление, что он никогда не находит покоя. Во-вторых, он проецирует добрую волю на злонамеренность. Таким образом ненасильственное сопротивление побеждает апатию в наших собственных рядах».

Ближе к 30 годам Растин много ездил по стране, выступая с зажигательными речами в поддержку «Содружества». Он постоянно устраивал акты гражданского неповиновения, о которых среди пацифистов и правозащитников скоро стали ходить легенды. В 1942 году в Нэшвилле он потребовал в автобусе пустить его на места для белых. Водитель вызвал полицию. Прибывшие на место полицейские начали избивать Растина; он принимал удары со спокойствием Ганди. Как позднее вспоминал один из членов «Братства» Дэвид Мак-Рейнольдс, «он был не только самым популярным лектором Братства, но и гением тактики. Братство готовило Байярда к роли американского Ганди».

В ноябре 1943 года Байярд Растин получил повестку в армию. От службы можно было отказаться — пойти служить в трудовой лагерь. Но Растин выбрал другой путь: он отказался выполнять требования властей. Его посадили в тюрьму, где каждый шестой заключенный был таким же узником совести и считал себя оплотом пацифизма и правозащитного движения. В тюрьме Растин агрессивно противостоял политике сегрегации. Он принципиально ел в той части столовой, где висела табличка «Только для белых». В свободное время он устраивался в секторе отдыха «Только для белых». Его агитация настраивала некоторых заключенных против него. Так, однажды на него набросился белый заключенный и стал наносить удары по лицу и телу ручкой от метлы. Растин по своему обыкновению встретил нападение пассивно, повторяя лишь: «Ты не можешь причинить мне вреда». В конце концов ручка от метлы сломалась. Растин получил перелом запястья и кровоподтеки на голове.

Слух о подвигах Растина скоро вышел за пределы тюремных стен. В Вашингтоне чиновники Федерального бюро тюрем под руководством Джеймса Беннетта отнесли Растина к категории опасных преступников — как Аль Капоне. Как писал Джон Д’Эмилио, биограф Байярда Растина, «все 28 месяцев, пока Растин сидел в тюрьме, на Беннета сыпались письма от подчиненных, просивших совета, что делать с Растином, и от сторонников Растина, которые следили за тем, как с ним обращаются в заключении».

Героические поступки Байярда Растина не отменяли высокомерия, гнева и порой безответственности, не соответствовавших заявленным им убеждениям. 24 октября 1944 года он посчитал нужным написать письмо начальнику тюрьмы с извинениями за свое поведение на дисциплинарном слушании: «Мне очень стыдно, что я потерял самообладание и грубо себя вел».

Несмотря на то что Растин не делал тайны из своих предпочтений, некоторые его сторонники были шокированы, узнав, что он гомосексуалист. Но гораздо большее осуждение вызвали похождения Растина, которые разрушали образ дисциплинированного и героического борца сопротивления. Правозащитное движение призывало своих лидеров быть мирными, сдержанными и блюсти чистоту, а высокомерный и агрессивный Растин открыто потакал своим прихотям. Абрахам Масти, лидер «Содружества примирения» и наставник Растина, написал ему гневное письмо:

Вы повинны в грубом нарушении правопорядка, особенно постыдном для человека, претендующего, подобно вам, на роль лидера и в некотором смысле на нравственное превосходство. Более того, вы подвели всех, включая ваших товарищей и самых верных друзей. Вы еще не видите своего истинного лица. В человеке, которым вы были и являетесь до сих пор, ничто не достойно уважения, и вы должны безжалостно отринуть в себе все, что не дает вам это осознать. Только так сможет появиться на свет ваша истинная личность — в огне, в страшных муках и в детском смирении. Вспомните псалом: «Помилуй меня, Боже, по великой милости Твоей и по множеству щедрот Твоих изгладь беззаконие мое, совершенно омой меня от беззакония моего, и от греха моего очисти меня Тебе, Единому, я согрешил и злое пред Тобою сотворил. Сердце чистое сотвори во мне, Боже, и Дух Правый обнови внутри меня».

В следующем письме Масти дал понять, что осуждает Растина не за гомосексуализм, а за беспорядочные связи: «Как это отвратительно и недостойно, когда в отношениях нет дисциплины и порядочности». Подобно тому как художник с самой вольной фантазией и самыми мощными творческими силами подчиняет себя строжайшей дисциплине, так и любовник должен укрощать свои порывы во имя «дисциплины, контроля и стремления понять другого человека».

От беспорядочных же связей, продолжал Масти, «один шаг до опошления и отрицания любви, ибо если любовь означает глубину и возвышенное понимание… обмен кровью жизни, то как это возможно не с одним человеком, а со многими?»

Растин сначала не принимал сурового осуждения Масти, но со временем, проведя несколько недель в изоляторе, сдался и написал ему длинный и прочувствованный ответ:

Когда наша кампания была в шаге от успеха, мое поведение остановило нас на пути. Я обманул надежды, которые люди возлагали на мое руководство; я заставил их усомниться в нравственной основе ненасильственного сопротивления; я оскорбил и подвел моих друзей по всей стране. Я предатель (в нашем понимании) ничуть не менее, чем командир, который во время боя по собственной прихоти подставляет позицию под огонь. Я в самом деле был сосредоточен на своем эго. Я думал о своей силе, своем времени и о том, как посвятить их великой борьбе. Я сосредоточивался на своем голосе, своих талантах, своей готовности быть в авангарде ненасильственности. Я не мог смиренно принять то, что даровал мне Господь. И теперь я вижу, что это привело сперва к гордыне и высокомерию, а затем к слабости, фальши и краху.

Несколько месяцев спустя Байярду Растину позволили в сопровождении охранника съездить домой, чтобы навестить умирающего деда. По пути он встретил свою давнюю приятельницу активистку Хелен Уиннермор. Та сказала Растину, что любит его и хочет быть его спутницей жизни — создать с ним отношения, хотя бы для видимости, чтобы он мог продолжить свое дело. Растин рассказал об этом предложении в письме к своему партнеру Дэвису Платту, так перефразировав ее слова: