Когда пришло время определиться в выборе профессии, а это были первые послереволюционные годы, отец посоветовал ему заняться медициной. С 1921 (по другим данным, с 1920) по 1926 г. Петр Яковлевич обучался в Харьковском медицинском институте и получил квалификацию врача-психоневролога.

Начиная с третьего курса Гальперин посещал неврологическую клинику профессора Платонова, который увлекался проблемами гипноза. Первая научная работа и первая публикация будущего ученого была посвящена влиянию гипноза на пищеварительные лейкоциты. В 1926 г. он начал работать в амбулаторном лечебном центре для наркоманов. Обследуя больных, он пришел к выводу, что в основе наркомании лежит нарушение процессов метаболизма, которые можно восстановить с помощью яда.

С 1928 г. Петр Яковлевич стал работать в психоневрологической лаборатории, которая так же, как и клиника наркомании, была частью Психоневрологического института. В 1930 г. он совместно с другими сотрудниками пытался объединить Психоневрологический институт с психиатрической клиникой, чтобы основать Всеукраинскую психоневрологическую академию. Хотя официальное учреждение академии так и не состоялось, она стала приглашать в Харьков специалистов из других городов. Именно с этого времени Петр Яковлевич вплотную занялся психологическими исследованиями. Вначале он работал с А. Р. Лурией, но в 1931 г. присоединился к харьковской психологической группе, возглавляемой А. Н. Леонтьевым. В состав группы входили Л. И. Божович, А. В. Запорожец, Н. А. Морозова, Р. Е. Левина, Л. С. Славина. Хотя Петр Яковлевич говорил о большом значении для него встречи с А. Н. Леонтьевым, можно предположить, что все эти люди, ставшие впоследствии известными психологами, а в то время просто влюбленные в психологию, оказывали сильное взаимное влияние друг на друга.

Работая в составе харьковской группы, в 30-е гг. Петр Яковлевич пытался обоснованно доказать недопустимость сведения психологии к павловской теории высшей нервной деятельности. В Харькове он несколько раз виделся с Л. С. Выготским (Выготский умер в 1934 г.), а впоследствии назвал его «действительно гениальным человеком, единственным в истории советской и русской психологии».

В 1932 г. Гальперин был призван на годичную военную службу, по возвращении до 1936 г. работал в АМН в отделе психологии. В это время он писал кандидатскую диссертацию на тему «Орудие и средство. Различие между орудиями человека и вспомогательными средствами животных» и защитил ее в 1936 г. перед медицинским научным советом Психоневрологического института. Но диссертация была принята лишь в 1938 г., так как имела выраженную психологическую направленность. В этой работе впервые было показано четкое психологическое различие между двумя видами действий с предметами: если животные пользуются предметами как продолжением естественных частей тела, то человеческие орудия очень сложные, к ним рука должна приспособиться. До настоящего времени полный текст диссертации не опубликован.

После выхода в свет постановления ЦК ВКП(б) «О педологических извращениях в системе наркомпросов» (1936) Гальперин был вынужден перейти в психиатрическую клинику, на кафедру хронических болезней, где проработал до начала войны, занимаясь в основном психиатрией.

В 1942 г. Харьков был оккупирован. Психоневрологический институт, превращенный в госпиталь, переехал в Тюмень. П. Я. Гальперин проработал здесь врачом до начала 1943 г., когда по приглашению А. Н. Леонтьева переехал в Свердловск, где Леонтьев создал реабилитационный центр для лечения двигательных нарушений, возникших в результате ранений. Петру Яковлевичу удалось доказать (работа была начата еще в Тюмени), что важным условием восстановления двигательной функции руки является ее включение в привычную профессиональную деятельность (например, плотника). Кроме того, он убедительно продемонстрировал, что выполнение действия в составе осмысленной деятельности также способствует возвращению движений. Например, больной оказывается не в состоянии просто поднять руку, но может это сделать, чтобы достать шляпу.

Осенью 1943 г. П. Я. Гальперин приехал в Москву и занял должность доцента кафедры психологии философского факультета МГУ. В конце 40-х — начале 50-х гг. он провел исследования, которые позволили затем сформулировать гипотезу о поэтапном формировании умственных действий и понятий. Впервые о таком подходе Петр Яковлевич заявил в июле 1952 г., выступив в прениях на совещании по вопросам перестройки психологической науки на основе труда Сталина по вопросам языкознания. В июле 1953 г. в Москве состоялось еще одно совещание по вопросам психологии, на котором Петр Яковлевич сделал доклад «Опыт изучения формирования умственных действий». С этого времени началась история теории поэтапного формирования (ТПФ) умственных действий.

Согласно этой теории умственное развитие есть результат переноса внешних материальных действий в план восприятия, представлений и понятий. Процесс переноса осуществляется через ряд этапов, на каждом из которых происходит новое воспроизведение действия и его системные преобразования. Петр Яковлевич выделил основные свойства — параметры действия, представления о которых менялись с получением новых экспериментальных фактов и теоретических обобщений. Изменение действий по уровням, по мнению ученого, составляет основу движения по этапам. На первом формируется мотивационная основа, на втором — ориентировочная, от особенностей которой и зависит качество формируемого действия. Далее начинается отработка действия. Сначала это происходит в материальной (или материализованной) форме, затем в громкоречевой: ребенок вслух повторяет содержание ориентировочной схемы. После этого постепенно исчезает внешняя сторона речи — действие осуществляется во «внешней речи про себя» и, наконец, речевой процесс уходит из сознания — действие выполняется во «внутренней речи».

Одним из ключевых понятий теории поэтапного формирования является понятие ориентировки. Петр Яковлевич выделил три типа ориентировочной деятельности и соответственно три этапа учения.

Первый тип характерен для традиционного обучения, второй — для хорошего традиционного, третий вооружает таким методом исследования, что ребенок оказывается в состоянии самостоятельно решать частные задачи. Три типа имеют разный развивающий коэффициент. Если первый и второй не влияют, по мнению Гальперина, на умственное развитие, то в третьем ярко выступает эффект общего развития. Этот тип обучения дает ребенку четкие средства различения и оценки внутреннего строения и свойств объектов, порождает сильнейший интерес к их изучению, позволяет по-новому подойти к проблеме возрастных возможностей детей, в частности дошкольников.

Данные теоретические положения легли в основу докторской диссертации, которую Петр Яковлевич защитил в 1965 г., а в 1966 г. ему было присвоено звание профессора. С 1971 г. П. Я. Гальперин — заведующий кафедрой возрастной психологии факультета психологии МГУ, с 1984 г. — профессор-консультант. В 1980 г. ему было присвоено звание заслуженного деятеля науки РСФСР.

В 1976 г. вышла главная работа П. Я. Гальперина — «Введение в психологию». В этой небольшой по объему книге в сжатом виде изложено оригинальное понимание психологии как главной науки об ориентировочной деятельности. Несмотря на то, что книга очень невелика, по глубине и важности представленных в ней проблем она может быть отнесена к числу фундаментальных теоретических работ в области общей психологии.