Ему не суждено было остаться единственным ребёнком, хотя утрата этого статуса была для него мимолётной. В феврале 1880 года его мать родила девочку, Грэйс Мэри Элизабет. Ребёнок прожил только пять часов.

Набожность была основой семейного уклада Кроули. День начинался с церемонии молитвы, на которой присутствовала и прислуга, после чего по очереди читали отрывки из Библии. В результате к четырём годам Кроули уже умел хорошо читать и успешно это делал, когда очередь доходила до него. Библия была единственной книгой, которую ему разрешали читать, и он был заворожён загадочными именами, которые в ней встречались, но признавался, что ни проза, ни поэтические тексты Библии не впечатляли его. Тем не менее он с любопытством относился к пророчествам и к описаниям из Откровения Иоанна Богослова. Нет надобности говорить, что благодаря своему чтению он получил твёрдые знания об Апокалипсисе, о пути спасения через учение Плимутского братства, о страшном зле, которое происходит от греха, об ужасе адовых мук и неизбежности смерти.

В 1881 году Эдвард Кроули продал дом в Лемингтоне, и вся семья переехала на Ферму, которая представляла собой солидный трёхэтажный дом с большим, заросшим деревьями садом, с видом на дорогу, соединяющую Редхилл и Мерстхэм в графстве Суррей. Это место будет их домом в течение пяти лет, оставшихся в памяти Кроули как время непрекращающегося счастья.

С того момента, когда семья поселилась на Ферме, начинается формальное образование Кроули. Вместо того чтобы послать сына в местную частную школу, где он мог бы получить «неправильное» религиозное воспитание, отец нанял ему частных учителей. Кузен Кроули по имени Грегор Грант, который был на шесть лет старше мальчика, нередко приходил в гости и стал его кумиром. Однако то, что ему было разрешено бывать в доме, — загадка, поскольку он был воспитан в пресвитерианских традициях и, несомненно, его убеждения не совпадали со взглядами Плимутского братства. Все остальные товарищи Кроули были детьми «плимутских братьев», и общение с ними казалось родителям Кроули безопасным. Тем не менее Алик, как Кроули звали в семье, вовсю наслаждался обычными мальчишескими проказами. Он и его друзья по Братству, лёжа среди деревьев на краю сада, подстерегали местных школьников и дразнили их, называя невежами и паля по ним из игрушечных духовых ружей. Однажды они напали на землекопа, который работал на другой стороне дороги, и побили его палками, вообразив, что это главный злодей в той игре, в которую они играли.

Это детское озорство не ограничивалось только уличными подвигами. Эдвард Кроули регулярно устраивал в своём доме собрания для чаепития и молитвы. В своей автобиографии его сын называет их «братским разгулом», который заключался в том, чтобы, «удовлетворив животную часть своего существа, предаться разврату духовных наставлений». Во время одного из таких чаепитий Кроули подлил в серебряный заварной чайник касторового масла; вежливость гостей не позволила им вслух заявить, что чай имеет омерзительный вкус. Во время другого чаепития он и несколько его друзей принялись закармливать едой одну гостью, прожорливую миссис Масти, тем самым на час задержав начало богослужения. Как и в случае с касторовым маслом, никто не выразил своего неудовольствия. Это привело Кроули к убеждению, что для членов Плимутского братства характерны смирение и нерешительность. И то и другое он считал проявлениями слабости.

Не все взрослые люди из тех, что встречал Кроули, были религиозными фанатиками, которых интересовало только поедание пирожных, заканчивающееся молитвой. Портной по имени Хемминг, член Плимутского братства, который шил костюмы для Эдварда Кроули, научил мальчика играть в шахматы. Кроули вскоре овладел этим искусством и сочинял собственные партии. Через некоторое время Хеммингу стало чрезвычайно трудно выигрывать у Кроули, и, по воспоминаниям последнего, достойный противник в шахматах не встречался ему уже вплоть до 1895 года, когда он поступил в университет. Дважды за период жизни на Ферме Кроули выезжал на отдых, причём одной из этих поездок стало состоявшееся в 1883 году заморское путешествие во Францию Швейцарию. Его память сохранила городские виды и пробуждения до рассвета, чтобы с площадки на горе Риги посмотреть, как солнце поднимается над горами. О другой своей поездке, путешествии на Шотландское нагорье, он вспоминал мало.

Какими бы счастливыми ни называл Кроули дни, проведённые им в Суррее, воспитывали его в духе аскетизма и строгости. К обычным строгостям, характерным для семей среднего класса викторианской эпохи, добавлялась суровость, диктуемая религиозным фанатизмом. Как сказал сам Кроули, «теория, лежащая в основе жизни семьи и принятая её членами, то и дело проявляла себя на практике». Подобно детям эпохи хиппи, которая наступила век спустя, он жил в замкнутом религиозном сообществе, находясь в своего рода вакууме, населённом поглощёнными собой, самоуверенными, высокомерными людьми. Похвала не была принята в этом сообществе, поскольку считалось, что она может исходить только от Христа, а для Бога все люди равны. Члены Братства, обращаясь друг к другу, называли друг друга «святыми» — настолько они были уверены, что достигли спасения: остальные люди считались грешниками. Их путь был Божьим путём, и в этом отношении они не терпели никаких сомнений, критики или возражений. Они сочиняли свои собственные молитвы, а к «Отче наш» относились как к бессмысленному заклинанию. Рождество считалось языческим праздником и потому не отмечалось: все рождественские открытки, которые приходили по почте, сжигались, никто не развешивал украшений, не ставил ёлок и не обменивался подарками. В сущности, члены Братства с неистовой убеждённостью религиозных фанатиков верили, что Библия вдохновлена Святым Духом, но все остальные христианские конфессии они считали «синагогами Сатаны», а тот факт, что все, кроме них, держат путь прямиком в огонь и серу, был для них так же очевиден, как то, что солнце садится по вечерам.

На протяжении тех лет, когда шло формирование личности Кроули, мальчику внушали, что каждый, кто верует иначе, чем «плимутские братья», делает это из желания сгореть на костре. Неудивительно, что он жил в страхе и трепете перед грехом. Однажды это проявилось в виде приступа ужаса. Мальчик играл в саду, а когда вернулся в дом, обнаружил, что он пуст. Это испугало его: в семье Кроули считалось, что второе пришествие Христа совсем близко, поэтому ребёнок решил, что Христос наконец прибыл, забрав всех с собой и забыв его одного. Такая атмосфера в семье неизбежно искажала мировоззрение и характер Кроули.

Деятельность Эдварда Кроули не ограничивалась молитвенными собраниями, которые он устраивал у себя дома. Помимо этого, он писал, редактировал, финансировал и издавал брошюры религиозного содержания, которые затем распространял, раздавая их людям на улице или высылая по почте. Одним из таких печатных изданий была почтовая открытка, озаглавленная «Последние слова бедной Анны». Анна, служанка деда Кроули, умерла в бреду со словами раскаяния о своей потерянной жизни. Эти её слова впечатлили всю семью, включая Эдварда Кроули, который был захвачен идеей смерти. Буклет, составленный им в 1865 году, был озаглавлен «Плимутское братство (так называемое), Кто они такие — Их вероучение — Способ богослужения — и т. д.». Напечатанный на улице Патерностер, где располагались лондонские типографии, такой буклет стоил пенни и возвещал близкое крушение официальной христианской церкви и приход Антихриста.