Осенью 1804 года преподобный подвергся жестокому нападению неких разбойников. Как оказалось впоследствии, то были крестьяне местного помещика Татищева. Злодеи напали на отшельника в лесу, когда тот рубил хворост, и стали требовать денег, полагая, что раз к нему приходят миряне, то он, должно быть, получает от них немалую мзду. Святой отвечал, что он ни от кого денег не берет. Тогда злодеи жестоко, до бессознательного состояния, избили его, а в келье его все перевернули и переломали, но денег не нашли. Злодеи пришли в ужас, поняв, что они убили без всякой пользы для себя святого человека, и бросились бежать.

В течение восьми дней старец нестерпимо страдал и лежал еле живой, не принимая никакой пищи. Отчаявшись за его жизнь, послали за врачами. Те освидетельствовали больного: оказалось, что у него проломлена голова, сломаны ребра, грудь, на теле множество смертельных ран. Братия собрались в его келье, послали за игуменом. В это время преподобный уснул. И вот в сонном видении ему вновь, как и много лет назад, явилась Пресвятая Богородица. Когда настоятель пришел в келью, Серафим уже очнулся. Он отказался от всякой врачебной помощи и твердо заявил, что возлагает упование на Бога и Божию Матерь. С того времени постепенно к нему стали возвращаться силы.

Около пяти месяцев провел преподобный в монастыре. Облик его после болезни сильно изменился: волосы побелели, а спина согнулась так, что до конца своих дней он мог ходить, лишь опираясь на клюку или на топорик. Но дух старца Серафима не был сломлен. Почувствовав, что силы возвращаются к нему и он снова готов к подвигу, преподобный объявил о своем решении вернуться к пустыннической жизни. Вскоре и разбойники, избившие старца, были найдены. Серафим просил настоятеля обители и помещика не наказывать их, объявив, что в противном случае покинет Саровскую обитель. Злодеев простили, но Бог покарал их: вскоре их дома сгорели от сильного пожара. Разбойники совершенно раскаялись, просили у старца Серафима прощение и, как свидетельствует Житие святого, встали на путь добродетельной жизни.

В 1806 году настоятель Саровской обители, старец Исайя, по болезни и старости лет удалился от дел. Братия избрала на его место Серафима, однако преподобный отказался от этого назначения. Настоятелем был избран отец Нифонт. Исайя прожил в монастыре еще год. Из-за немощи он не мог сам ходить в пустынь к Серафиму, и братия, по его просьбе, возила его туда на тележке. Смерть старца Исайи (декабрь 1807 года) произвела сильное впечатление на преподобного. Это был последний из близких ему людей. До конца жизни Серафим с особым усердием молился об упокоении душ блаженных Пахомия, Иосифа и Исайи и завещал поминать их в молитвах своим ученикам.

По смерти старца Исайи преподобный, не изменяя своего образа пустыннической жизни, возложил на себя новый тяжкий подвиг — молчальничество. Кто бы ни приходил к нему в пустынь, старец не выходил навстречу. Если ему приходилось кого-нибудь встретить в лесу, он падал ниц на землю и не поднимал головы до тех пор, пока встречный не проходил мимо. В таком безмолвии преподобный провел около трех лет. В конце этого срока он из-за болезни ног даже перестал посещать Саровскую обитель по воскресным и праздничным дням. Раз в неделю один из иноков приносил ему пишу — немного хлеба или капусты; потупив голову и не глядя на пришедшего, старец принимал принесенное и не говорил ни слова.

Среди братии нашлись недовольные тем, что преподобный удалился от монастыря. Настоятель обители отец Нифонт также выражал недовольство тем, что старец не принимает причащения в монастырской церкви. Был созван собор из старших иеромонахов. Старцы решили предложить преподобному, если он здоров и крепок ногами, по-прежнему приходить в обитель по воскресным и праздничным дням для причащения Святых Тайн; если же ноги не служат ему (а после трехлетнего стояния на камне так оно и было), он должен перейти на жительство в монастырскую келью. Брат, носивший по воскресным дням пищу святому, передал ему решение монастырского собора. В первый раз старец ничего не ответил. Тогда, спустя неделю, брат повторил соборное распоряжение. В ответ преподобный благословил инока и вместе с ним отправился пешком в обитель. Это случилось 8 мая 1810 года. Преподобному было пятьдесят лет от роду.

По возвращении в монастырь после пятнадцатилетнего пребывания в пустыни начался новый подвиг преподобного — затворничество. 9 мая, в день перенесения мощей святителя Николая, старец Серафим причастился в больничной церкви Святых Зосимы и Савватия Соловецких и, взяв благословение у настоятеля Нифонта, поселился в прежней своей монастырской келье. При этом он никого не принимал к себе, никуда не выходил и не говорил ни с кем ни слова. В келье своей он не держал ничего, даже самых необходимых вещей: лишь икона Божией Матери, перед которой всегда горела лампада, да обрубок пня, заменявший ему стул, составляли всю его обстановку. Старец не употреблял даже огня. Он носил ту же одежду, что и в пустыни. Под рубашкой на груди у него висел большой пятивершковый железный крест, который старец именовал «веригами». Но собственно вериг и власяницы он не носил. Пил преподобный одну только воду, в пищу же употреблял лишь толокно и белую квашеную капусту. Воду и пищу приносил ему живший по соседству инок Павел. В течение всех лет затвора во все воскресные и праздничные дни старец причащался Святых Тайн, приносимых ему прямо в келью из больничной церкви. Чтобы не забыть о часе смертном, он попросил поставить в сенях своей кельи гроб, выдолбленный им самим из цельного дуба.

После пятилетнего пребывания в затворе старец несколько ослабил его. Затем понемногу преподобный стал беседовать с приходящими к нему иноками и мирянами, исповедовать их, все еще не выходя из затвора.

Так святитель принял на себя новый великий подвиг так называемого старчества, всецело посвятив себя служению миру, духовному руководительству и врачеванию иноков и всех нуждающихся в его утешении и совете. Окончательно он оставил затвор только в 1825 году, после нового чудесного явления ему Пресвятой Богородицы.

По болезни ног он уже не мог часто ходить в свою прежнюю, «дальнюю пустыньку». Ему полюбился так называемый Богословский родник верстах в двух от монастыря. По просьбе старца родник расчистили; Серафим стал повсюду собирать камешки и выкладывать ими дно родника. Впоследствии этот родник получил название «Серафимова» и прославился тем, что от его воды люди получали исцеление от самых различных болезней. На горке возле родника для преподобного был устроен небольшой сруб без окон и даже без дверей, с земляным входом. Позже поставили новую келью с дверями и печью, но также без окон. В этой келье, получившей название «нижней», или «ближней пустыньки», старец проводил все будние дни, к вечеру же возвращался в монастырь. (Впоследствии эта «ближняя пустынька» была перенесена в Серафимо-Дивеевский монастырь, основанный преподобным.)

Сорок семь лет провел к тому времени старец в монастыре, из них шестнадцать лет в пустынножительстве, другие шестнадцать лет в затворничестве, в многолетнем молчании, в неустанных трудах над своей душой. Слава о великом подвижнике давно уже ходила по всей России. Тысячи страждущих духом, чающих наставления, духовного или телесного исцеления устремляются к святому старцу — и теперь преподобный готов принять всех их.