Однако скорость и радикальность проводимых в Вооруженных Силах России преобразований вызвали массу крайне противоречивых оценок деятельности Сердюкова со стороны экспертов, средств массовой информации и военнослужащих.

Оппоненты ставят ему в вину сугубо менеджерский подход к вопросам, непосредственно затрагивающим безопасность и обороноспособность страны, попытки коммерциализации вооружённых сил, а также неуважительное отношение к офицерскому корпусу. Сторонники указывают на то, что Сердюков — первый министр обороны России, сумевший запустить реформу утратившей боеспособность армии и прилагавший максимальные усилия к её перевооружению, переоснащению и приведению к мировым стандартам.

Главными пунктами критики в адрес Сердюкова стали сокращение армии, уничтожение корпуса прапорщиков и мичманов без создания разумной его альтернативы, отказ от закупки отечественного вооружения в пользу иностранных образцов, задержки в размещении государственного оборонного заказа, активная распродажа государственной собственности.

Президент Академии геополитических проблем Леонид Ивашов, комментируя в 2007 году назначение Сердюкова министром обороны, назвал решение президента «плевком в лицо» и «унижением армии». По мнению Ивашова, Сердюков может быть хорошим бизнесменом, но «совершенно не понимает роли офицера не только как ответственного за боеготовность и решение конкретных военных задач, но и в социальной сфере». Схожего мнения придерживается руководитель Центра военного прогнозирования Анатолий Цыганок, убеждённый, что «Сердюков не слишком понимает, что творит».

Член общественного совета при Минобороны Виталий Шлыков, напротив, считает Сердюкова «храбрым бухгалтером», которому противостоит «множество жуликоватых генералов, которые просто держатся за кресла». Директор Центра анализа мировой торговли оружием (ЦАМТО) Игорь Коротченко полагает, что представление о Сердюкове как о человеке, далёком от армии и занимающемся исключительно финансово-экономическими проблемами, в корне неверно. Как полагает эксперт, Сердюков «занимается комплексными проблемами, которые сегодня стоят перед российской армией». По мнению писателя и журналиста Леонида Млечина, Сердюков — первый министр обороны, который реально реформирует Вооружённые силы, приводит их в соответствие с современными требованиями.

18-19 октября 2010 года в ряде изданий прошла информация о том, что Сердюков во время посещения учебного центра «Сельцы» Рязанского воздушно-десантного училища якобы возмутился наличием на его территории храма, построенного на деньги спонсоров. По утверждению неназванных источников, Министр обороны приказал денег «на этот центр ВДВ не давать», «училище вообще сократить», а начальника училища, героя России полковника Андрея Красова «снять и в войска». Публикации побудили Союз десантников России к развёртыванию масштабной кампании с требованием отставки Сердюкова и взятия реформы армии под парламентский контроль. В то же время сам Красов поднятой «шумихе» удивился и назвал инцидент исчерпанным. О том, что конфликт «выдуман на пустом месте», заявил командующий ВДВ генерал Владимир Шаманов. Позже замминистра обороны России Григорий Нагинский, сопровождавший Сердюкова в поездке в «Сельцы», подтвердил, что министр разговаривал с полковником на повышенных тонах, но опроверг информацию о нецензурной брани и распоряжении о сносе храма. По словам замминистра, со стороны руководства части было допущено множество нарушений. Несмотря на это, Союзом десантников России был организован и проведён митинг с требованием отставки министра.

В ряде критичных по отношению к Сердюкову статей ему даётся кличка — «мебельщик», «фельдмебель» или «Табуреткин», которая подчеркивает, что министр обороны до 2000 года был директором мебельной компании.