Первый ребенок в семье родителей Дианы появился в марте 1955 года, это была дочь Сара; в 1957 году родилась Джейн. Два года спустя появился наследник мужского пола Джон, но он умер во младенчестве. Мать погрузилась в глубокую депрессию, но на следующий год вновь забеременела. 1 июля 1961 года в 19 часов 45 минут она родила в своем доме, в Парк-Хаусе, очаровательную девочку, которую и нарекли Дианой. Роды прошли без осложнений; в эти минуты родители, горячо надеявшиеся на то, что родится мальчик, еще не выбрали женского имени. Имя девочке официально было дано только 30 августа 1961 года во время крестин, состоявшихся в церкви Сандрингема; кстати, купель из флорентийского мрамора в этой церкви — дар Эдуарда VII.

Первые годы жизни Дианы прошли в детской на втором этаже Парк-Хауса. Под присмотром своей гувернантки дитя делало первые шажки по великолепному королевскому владению, по землям замка Сандрингем, от которого в определенной зависимости находился и Парк-Хаус. Поместье действительно великолепно: 8094 гектара лесов, парков и садов. Иногда там можно было встретить королеву, совершавшую прогулку верхом; Ее Величество тогда останавливалась, чтобы поболтать с леди Олторп. В 1964 году у Дианы появился младший брат, названный Чарльзом и крещенный в Вестминстерском аббатстве в присутствии королевы.

Семейство Спенсеров ежегодно 5 ноября устраивало большой праздник с фейерверком. Последним удачным праздником стал праздник осенью 1967 года. Родители Дианы, уже находившиеся в плохих отношениях, официально объявили о своем решении расстаться на какое-то время из-за несовместимости характеров. Этот крах супружеской жизни оказал глубокое влияние на девочку, можно сказать, тяжело отразился на ней. Дело было в том, что леди Спенсер влюбилась в другого мужчину (который впоследствии стал ее вторым мужем) и тотчас же покинула и мужа, и детей. Диане было тогда шесть лет, и она была потрясена юридической дуэлью, продолжавшейся несколько долгих месяцев. В декабре 1968 года ее мать официально потребовала развода, обвинив супруга в жестоком обращении. Ее муж в ответ обвинил ее в измене с Питером Шандом Киддом, заявив, что адюльтер имел место с весны 1967 года. В конце концов леди Олторп проиграла процесс, лишилась права воспитывать детей и даже была отвергнута своей матерью, отказывавшейся затем с ней разговаривать на протяжении многих лет. Процесс по делу о разводе выставил на всеобщее обозрение интимную жизнь четы Спенсеров и предоставил прессе сенсационные сведения. Диана, учившаяся тогда в школе в Кингз-Линн, подвергалась жестоким насмешкам соучениц. Один из близких друзей семейства Олторпов вспоминает: «Хотя Диане было всего восемь лет, она приобрела тяжкий опыт испытания страданием, и это оставило в ее душе неизгладимый след Но если крах брака родителей чаще всего угнетает детей, становится для них помехой и ставит в невыгодное положение, то на личность Дианы это повлияло иначе: ее характер окреп, обретя мужество». Диана осталась с отцом, но продолжала поддерживать отношения с матерью. Ежегодно она проводила летние каникулы вместе с ней на живописном маленьком островке Сайл около берегов Шотландии.

Годы учебы Дианы были малоинтересны. После пребывания в Зилфилд-скул, в Кингз-Линн, ее записали в Риджуорт-Холл, закрытую школу для благородных девиц в графстве Норфолк Школьную форму ей купили в магазине «Хэрродз» осенью 1970 года. Диана была очень посредственной ученицей по основным дисциплинам, но преуспевала в музыке, живописи и плавании. В конце 1972 года она потеряла бабушку, старую графиню Спенсер. Во время погребальной службы в королевской часовне Сент-Джеймсского дворца королева-мать, принцесса Маргарет и герцогиня Глостерская подошли к Диане, чтобы ее обнять и поцеловать.

В сентябре 1973 года вслед за сестрами Диана поступила в очень престижную привилегированную частную среднюю школу Вест-Хит, около Севеноукса, в графстве Кент. Она прилежно изучала там, кроме основных дисциплин, гончарное ремесло, искусство рисунка и ткачество. Она была пансионеркой, то есть жила в школе на полном пансионе, и легко завела там подруг, девушек из знатных семей, с которыми и после окончания школы поддерживала дружеские отношения. Общим для них, по признанию одной из подруг Дианы, была лень: «Мы проводили все время за чтением женских иллюстрированных журналов. Вместо того чтобы делать уроки, мы взахлеб проглатывали детективы, приключенческие и любовные дамские романы, те, что называют «розовой водичкой». Диана обожала романы Барбары Картленд. Мы тратили время на их поиски и покупку». В то время Диана плохо переносила свой «позолоченный интернат» и неохотно, скрепя сердце предпринимала усилия для приобретения школьных знаний. Она, кстати, провалилась на экзаменах и не получила свидетельства о сдаче экзаменов по программе средней школы на обычном уровне (основных экзаменов для каждого английского школьника). В июне 1977 года она опять сдавала экзамены по английскому языку, по искусству и географии. И опять провалилась, но настаивала на том, что обязательно появится осенью на занятиях, чтобы потом все же сдать экзамены. Новый провал! После четырех лет учебы в этой дорогостоящей школе итог оказался далеко не блестящим… Иностранные языки ее не привлекали, потому что у нее неважный слух, и французский ее был весьма посредственным. В свои восемнадцать лет она еще ни разу не выезжала за пределы Соединенного Королевства. Хотя ее бабушка, леди Фермой, и была знаменитой пианисткой и даже организовывала ежегодный музыкальный фестиваль, Диана села за рояль поздно и без всякого энтузиазма. Балет привлекал ее гораздо больше. Из всех коллективных походов (на концерты, выставки, в театры), организуемых школой, Диана с удовольствием ходила только на балет. Она видела «Лебединое озеро» пять раз, «Жизель» — четыре раза и ходила в театр «Колизей» («Колизеум») и на спектакли труппы «Садлерз-Уэллз», чтобы посмотреть «Коппелию» и «Спящую красавицу». Диана доверительно сообщила Рудольфу Нурееву после гала-концерта в «Ковент-Гардене», что хотела бы стать танцовщицей, но ее высокий рост — непреодолимое препятствие для осуществления этого желания. Какое будущее ожидало Диану? Что она могла делать в жизни, кроме как выйти замуж и стать матерью семейства? Такое пожелание высказал ее отец, когда принял решение послать Диану в Швейцарию в Альпийский институт Видеманетт, расположенный в замке Экс неподалеку от курортного местечка Гстаад. Там изучали кулинарию, искусство кройки и шитья, высокую моду, хорошие манеры, французский язык и все, что может быть полезно для будущей хозяйки дома. В декабре 1977 года Диана впервые садится в самолет, решительно настроенная на то, что «проведет в изгнании» около года. Она очень быстро почувствовала себя неуверенно в этой школе, где учениц обязывали говорить по-французски. К счастью, у нее там появилась приятельница, англичанка, вместе с которой она начала учиться кататься на горных лыжах. Но после трех месяцев пребывания в Швейцарии Диана, сильно обескураженная, утратившая веру в свои силы, решает вернуться на родину, к семье. Сей избалованный ребенок, однако, все же сообразил, что надо сначала отправиться к матери, чтобы в надежном убежище переждать отцовские громы и молнии. Тем более что лорд Олторп, 9 июня 1975 года ставший восьмым графом Спенсером, занимался семейными проблемами. Обосновавшись в величественном замке Олторпов около Нортгемптона, он женился на Рейн Картленд. Прощай, Парк-Хаус и бассейн, куда иногда приходили купаться принцы Эндрю и Эдуард, лорд Линли и леди Сара! После двадцати восьми лет брака с графом Дартмутом дочь Барбары Картленд решила развестись и выйти замуж за новоиспеченного графа Спенсера. Ей было сорок семь лет, и у нее было четверо детей. Знаменитая романистка рассказала, что у нее с дочерью была трогательная сцена: «Мама, я влюблена, как сумасшедшая, совсем так, как бывают влюблены твои героини. Ты должна мне помочь, ты должна меня понять». Кто ничего, совсем ничего не понимал, так это Сара, Джейн, Диана и Чарльз, впавшие в отчаяние из-за того, что их отец женился во второй раз 14 июля 1976 года (никто из членов королевской семьи на бракосочетании не присутствовал). Юные Спенсеры выказали по отношению к мачехе неприязнь, даже враждебность, тем более что в замок вместе с ней прибыли и ее дети: Уильям, Руперт, Шарлотта и Генри.