В 1891 году клуб вступил в Северную лигу, где в сезоне 1891/1892 занял 3-е место (по 10 мячей в этом турнире забили Сэмми Добсон, прибывший из «Престон Норт Энд», и Уолтер Генри Хаммонд из «Эвертона»), а в 1892 году был избран в состав недавно созданного второго дивизиона Футбольной лиги. Свой дебютный лиговый матч команда провела 03.09.1892, победив со счетом 4:2 «Линкольн Сити». Хет-трик оформил Генри Хаммонд, а еще один мяч провел Александр («Санди») Уоллес, перешедший из шотландского «Аберкорна».

В сезоне 1892/1893 команда финишировала второй после «Смолл Хит» (+16=3–3, мячи 62–19) и, победив в тестовом матче «Аккрингтон» (1:0), перешла в первый дивизион. Лучшим бомбардиром «Шеффилд Юнайтед» стал Гарри Хаммонд, в 18-ти лиговых матчах забивший 18 голов. В дебютном сезоне наибольшее количество матчей в лиге провели Раб Хауэлл (22), Эрнест Нидэм, Джон Драммонд и Уильям («Билли») Харолд Хендри (все – по 20). Двое последних до 1891 года выступали за «Престон Норт Энд».

Первый матч в элите английского футбола команда провела 02.09.1893, победив со счетом 3:2 «Эвертон» на поле соперника. Этот сезон «Шеффилд Юнайтед» завершил на 10-м месте (+13=5–12, мячи 47–61). В сезоне 1896/1897 «Шеффилд Юнайтед» стал вице-чемпионом Англии, уступив 11 очков «Астон Вилле» (команда пропустила в свои ворота лишь 29 мячей, меньше всех в Лиге, правда, забила только 42 гола – один из худших показателей), а в следующем году выиграл чемпионат, на пять очков опередив «Сандерленд» (+17=8–5, мячи 56–31). Лучшим бомбардиром команды в этом сезоне стал прибывший в 1896 году из «Мексборо Таун ФК» Уолтер («Кокки») Беннетт, забивший 12 голов.

В единственном в истории клуба чемпионском сезоне в его составе играли: купленный осенью 1894 года за 20 фунтов у шахтерской команды «Блэкуэлл» голкипер-гигант Уильям Генри Фулк (29 матчей), Роберт Кейн (30), Эрнест Нидэм (29/8), Гарри Тикетт (29), Альфрэд («Фрэд») Прист (28/4), Уолтер Беннетт (26/12), Том Моррен (26/2), Кеннет Маккей (25/5), Джон Каннингэм (24/7), Рабби Хауэлл (24), Джон Олмонд (20/7), Гарри Джонсон (10/2), Ральф Гойд (6/2), Генри Уайт (6), Нил Логан (5/4), Гарри Ховард (3), Дэвид Мортон (2), Томас Дженкинсон (2), Джордж Хедли (2), Джон Блейр (1), Альберт Брэдшоу (1), Арчибальд Френч (1), Майк Уизем (1).

Кроме того, команда завоевала титул чемпиона Великобритании, одержав победу над чемпионом Шотландской Лиги клубом «Селтик» (2:1). В 1899 году «Шеффилд Юнайтед», который с мая стал тренировать Джон Николсон (в итоге он проработал с коллективом рекордные 33 года!), впервые стал победителем Кубока Англии. В финале, который состоялся 15.04.1899 на стадионе «Кристал Пэлас» в Лондоне, «Клинки» со счетом 4:1 разгромили «Дерби Каунти». Голы забили Беннетт, Бир, Олмонд и Прист. Вот, кто принес «Шеффилд Юнайтед» эту победу: Вилли Фулк, вернувшийся в команду из «Ротерем Таун» Гарри Тикетт, Питер Бойл из «Сандерленда», Уильям Гаррисон («Гарри») Джонсон, Том Моррен, Эрнест Нидэм, Уолтер Беннетт, Уильям («Билли») Джон Бир из юниорской команды «Честерфилд Таун», Джордж Альберт Хедли, Джек Олмонд из «Дарлингтона», Альфрэд («Фрэд») Эрнест Прист из «Саут Бэнк ФК» Мидлсбро.

В сезоне 1900/1901 «Шеффилд Юнайтед», в предыдущем сезоне во второй раз ставший вице-чемпионом Англии, вновь вышел в финал Кубка ФА, где встретился с «Тоттенхэмом», который тогда выступал в Южной Лиге. Этот поединок, состоявшийся на стадионе «Кристал Пэлас», впервые в истории футбола собрал более ста тысячи зрителей – 114815 (так писали газеты сразу после матча). Игра победителя не выявила – ничья, 2:2.

Когда низкорослый и спокойный на вид капитан «Шеффилда» (в этом коллективе он провел всю свою спортивную карьеру, сыграв в общей сложности 554 матча, из них 464 в Лиге) Эрнест «Наджер» Нидэм (часто – Нидхем) покидал поле, на него налетел болельщик и ударил в лицо. Нападавший совершил чудовищную ошибку. В ту пору трудно было отыскать среди футболистов более опасного бойца и драчуна, чем «малыш» Нидэм. Как правило, полузащитник сборной Англии (в 1894–1902 он провел за главную команду страны 16 матчей и забил 3 гола, а в 1901 был ее капитаном) вел себя очень дипломатично, но как только доходило дело до реальной драки он преображался. После ударов сначала левой, а потом правой болельщик упал, через несколько секунд вскочил и дал деру, найдя спасение в руках полицейских, которые арестовали хулигана.

Переигровка состоялась 27.04.1901 в Болтоне, на стадионе «Бёрнден Парк». После первого тайма «Клинки» вели со счетом 1:0 после гола Приста, но после перерыва «Тоттенхэм» смог забить три гола и впервые стал обладателем заветного трофея. После этого сенсационного поражения от команды, которая не являлась членом Футбольной Лиги, Нидэм поклялся «загладить вину перед Севером». И капитан, и его команда это обещание сдержали уже в следующем сезоне, вновь добравшись до финала Кубка ФА. В третий раз за четыре года! На этот раз соперником «Клинков» стал другой представитель Южной Лиги – «Саутгемптон». И вновь судьба приза решилась в переигровке.

Открыл счет новобранец «Шеффилда» Альф Коммон, купленный у «Сандерленда», однако, незадолго до финального свистка «Святые» забили ответный гол. Причем, весьма спорный. Капитан «Саутгемптона» Харри Вуд в офсайде зашнуровывал бутсы, когда к нему отскочил мяч. Вуд, не долго думая, отправил мяч в сетку. Арбитр Фрэд Киркэм долго совещался с лайнсменом, и пришёл к выводу, что Вуд не был в офсайде, потому как мяч к нему попал от защитника. И тогда страсти на поле достигли высшего накала. «Клинки» были в ярости. Особенно неивствовал обладавший исполинской массой голкипер Уильям («Вилли») Генри Фулк по прозвищу «Кроха». Уже после завершения матча он в голом виде выбежал из раздевалки и набросился на Киркэма, однако тот успел юркнуть в шкаф для уборочного инвентаря. Стремясь добраться до своего обидчика, Фулк попытался сорвать дверь шкафа с петель и утихомирить его удалось только с помощью секретаря Футбольной Ассоциации и других организаторов турнира.

Переигровка состоялась спустя неделю. В начале матча голкипер «Саутгемптона» Джек Робинсон поскользнулся, и Хедли открыл счёт, а затем Барнс забил второй гол. Победители провели этот матч в таком составе: Билли Фулк, Гарри Тикетт, Питер Бойл, Эрнест Нидэм, Берни Уилкинсон, Гарри Джонсон, Билли Барнс (в первом матче играл Уолтер Беннетт), Фрэд Прист, Альф Коммон (в первом матче играл Чарль Уильям «Оаки» Филд из «Брентфорда»), Джордж Хедли, Герберт («Берт») Липсэм из «Кру Александра».

В 1902/1903 «Шеффилд» был одним из наиболее вероятных претендентов на чемпионский титул, но неудачное завершение сезона отбросило клуб на четвертую строку турнирной таблицы. В финале Кубка Англии 1914/1915, последнем перед четырехлетним перерывом, связанным с войной, «Шеффилд Юнайтед» в Манчестере со счетом 3:0 победил лондонский «Челси». Голы забили Джеймс Симмонс, Стэнли Фазакерли и Джозеф Китчен. В историю этот матч вошел как «финал цвета хаки» – на трибунах из 50-ти тысяч зрителей подавляющее большинство составляли военные. За «Шеффилд» в финале играли: Харолд Гью из «Касэлфорд Таун», Билли Кук из «Геббурн Таун», Джон («Джек») Когэл Инглиш из «Уотфорда», Альберт Стёрджесс из «Стока», Уильям («Билл») Генри Брелсфорд из «Донкастер Роверс», Джордж Утли (капитан) из «Барнсли», Джеймс Симмонс из шахтерской команды «Блэкуэлл», Стэнли Николас Фазакерли из «Халл Сити», Джозеф Эрнест Китчен и Уоллес («Уолли») Мастерман (оба – из «Гейнсборо Тринити»), Роберт Эрнест Эванс из «Астон Виллы».