Клуб вступил в Футбольную лигу (третий дивизион) в сезоне 1920/1921. В дебютном лиговом матче 28.08.1920 «Орлы» на выезде проиграли валлийскому клубу «Мертир Таун» из города-графства Мертир-Тидвил со счетом 1:2. Во втором по счету матче уже была добыта ничья (0:0 с «Плимут Аргайл»), а в третьем – одержана победа (3:0 над тем же «Мертир Таун»). В первом же сезоне «Кристал Пэлас» стал победителем этого турнира (24 победы, 11 ничьих и 7 поражений) и получив право перейти во второй дивизион, где провел четыре года (1921/1922–1924/1925).

С 1924 года «Кристал Пэлас» выступает на собственном стадионе «Селхерст Парк». Раньше эта земля принадлежала Брайтонской железнодорожной компании и здесь размещалась старая кирпичная фабрика. Первым матчем на новой арене стала игра 29 августа против «Шеффилд Уэнсдей», в которой хозяева поля проиграли со счетом 0:1. За матчем наблюдали 25 тысяч зрителей. Хозяева потерпели в ней поражение с минимальным счётом 0:1. Первая победа на поле «Селхерст Парк» состоялась 13 сентября, когда с минимальным счетом 1:0 был переигран «Халл Сити». По итогам сезона 1924/1925 (21-е место из 22-х возможных) «Кристал Пэлас» вернулся в третий дивизион, где выступал вплоть до сезона 1957/1958, после чего опустился в четвертый.

В сезоне 1960/1961 «Кристал Пэлас» вернулся в третий дивизион, в 1963/1964 вышел во второй, а по итогам сезона 1968/1969 – в первый, впервые в своей истории. Дебютный матч в элите состоялся 09.08.1969 и завершился со счетом 2:2. А соперником был «Манчестер Юнайтед». Среди сильнейших «Кристал Пэлас» играл четыре сезона, пока в 1971/1972 не занял 21-е место и не вылетел во второй дивизион, а в сезоне 1974/1975 он уже оказался в третьем дивизионе.

Под руководством Терри Венейблса команде удалось сначала вернуться во второй, а в сезоне 1978/1979 – и в первый дивизион. Но, всего лишь на один год. После этого «Кристал Пэлас» до сезона 1988/1989 выступал во втором дивизионе. В сезоне 1989/1990 команда под руководством Стива Коппелла впервые добралась до финала Кубка Англии. Пройдя четыре команды из низших дивизионов, в полуфинале «Кристал Пэлас» на бирмингемском стадионе «Вилла Парк» встретился с «Ливерпулем». К перерыву «Ливерпуль» вёл 1:0, однако в начале второго тайма «Кристал Пэлас» забил дважды и вышел вперёд. Мерсисайдцы ответили двумя голами под занавес матча, но в самой концовке лондонцы сравняли счёт – 3:3 после 90 минут. В дополнительное время на 111-й минуте «Кристал Пэлас» сумел забить 4-й мяч усилиями Алана Пардью и выйти в финал.

12.05.1990 на знаменитом «Уэмбли» (первый матч в истории для «Кристал Пэлас» на этом стадионе) лондонцам противостоял «Манчестер Юнайтед». Счёт на 18-й минуте открыл защитник «Орлов» Гари О’Рейлли, но на 35-й минуте капитан манкунианцев Брайан Робсон забил ответный мяч. Во втором тайме на 62-й минуте валлиец Марк Хьюз вывел «Манчестер» вперёд. На 69-й минуте на поле вместо Фила Барбера появился Иан Райт. Через три минуты он сравнял счёт – 2:2. На 2-й минуте дополнительного времени Райт вывел «Кристал Пэлас» вперёд – 3:2. Но на 109-й минуте Марк Хьюз восстановил равновесие (3:3). По истечении 120 минут счёт так и остался равным, и по регламенту была назначена переигровка. 17 мая на «Уэмбли» команда Алекса Фергюсона вышла вперёд на 59-й минуте, благодаря голу защитника Ли Мартина, и в итоге матч так и закончился победой «Манчестера» со счётом 1:0. Это был первый трофей сэра Алекса Фергюсона с «МЮ».

В составе «Кристал Пэлас» на поле тогда выходили: Найджел Мартин, Джон Пембертон, Гари О’Рейлли, Энди Торн, Ричард Шоу, Фил Барбер, Энди Грей, Джефф Томас (капитан), Алан Пардью, Джон Салако, Марк Брайт, Иан Райт (вскоре он перешел в «Арсенал», где был лучшим бомбардиром на протяжении 6 сезонов подряд, забивая за сезон не менее 15 голов), Дэвид Мэдден.

В сезоне 1990/1991 «Орлы» заняли 3-е место в первом дивизионе, показав лучший результат в своей истории. Впереди оказались лишь «Арсенал» и «Ливерпуль». Кроме футболистов, выступавших в финале Кубка Англии 1989/1990, в команде Стива Коппелла тогда играли: Эдди Макголдрик, Пол Бодин, Стэн Коллимор, Марк Деннис, Алекс Дейр, Руди Хедман, Глин Ходжс, Джон Хэмпри, Джейми Морали, Рики Ньюман, Саймон Осборн, Саймон Роджер, Гарет Саутгейт, Перри Саклинг, Гарри Томпсон, Энди Вудман и Эрик Янг.

В 1992 году клуб стал одним из основателей Премьер-лиги. Но, проведя в элите всего один сезон, «Орлы» вновь оказалась во втором по значимости английском дивизионе. Несколько раз «Кристал Пэлас», постоянно испытывавший значительные финансовые затруднения, возвращался в Премьер-лигу и почти сразу же покидал ее (подтверждая свою репутацию «команды-лифта»), вынужденный продавать своих лучших игроков. В ноябре 2012 года главным тренером «Кристал Пэлас» был назначен Иан Холлоуэй, который в 2012/2013 в очередной раз вывел команду в Премьер-лигу.

В ноябре 2013 года новым наставником команды стал валлиец Энтони («Тони») Ричард Пьюлис, выведший в 2011 году «Сток Сити» в финал Кубка Англии. С ним команда, только вернувшись в Премьер-лигу, смогла занять 11-е место (+13=6–19, мячи 33–48), а сам тренер был назван лучшим тренером сезона.