Даже эпизодические роли он исполнял так ярко и сочно, что навсегда оставался в памяти зрителя. К подлинному успеху артист шёл долго, поскольку привык работать неспешно и обстоятельно. Ничего не беря наскоком, он всё же добрался до вершин славы и народной любви.
Родился 18 (31) января 1902 года в Москве. Во время Первой мировой войны Алексей Грибов вынужден был начать работать. Во время революции будущий актёр, не бросая работу, пошёл учиться в школу рабочей молодёжи и там впервые вышел на сцену в самодеятельном спектакле. Продолжил своё образование Алексей Грибов в школе при 3-й студии МХАТа. Окончив её в 1924 году, был принят в труппу театра. На сцену МХАТа артист выходил 56 лет и за это время сыграл в 60-ти спектаклях.
В кино Грибов дебютировал в 1935 году ролью Горбунова в фильме «Горячие денёчки». Фильмография актёра насчитывает более 50-ти художественных фильмов.
Позже он играл в основном в экранизациях отечественной классики и комедиях. Будучи внешне похожим на Ворошилова, Грибов сыграл его в 3-х фильмах: «Падение Берлина», «Донецкие шахтёры» и «Клятва». В 1961 году артист исполнил в «Полосатом рейсе» роль капитана судна Василия Васильевича, а в 1968-м – директора фотоателье Кирилла Полотенцева в «Зигзаге удачи», герой Алексея Николаевича Тимофей Храмов в фильме «Начальник Чукотки» был не менее интересен.
Грибов глубоко чувствовал своих персонажей и умел добавлять к образам недостающие детали. Сам он рассказывал, что ему больше всего по душе герои «из народа»: смиренные крестьяне, грубоватые вояки, пожилые мудрецы.
И в театре, которому Грибов отдавал предпочтение и большую часть своего времени, и в кино, в котором тоже довольно много и успешно работал, он был органичен и узнаваем, а образы, созданные им, любимы зрителями, независимо от того, положительного или отрицательного персонажа играл актёр.
С 1970 года Алексей Грибов преподавал актёрское мастерство в школе-студии МХАТ, продолжая играть на сцене. Последней киноработой актёра стал фильм «За всё в ответе» (1973), театральной – роль Чебутыкина в «Трёх сёстрах» Чехова (машина скорой помощи увезла Грибова с этого спектакля).
Скончался Алексей Николаевич Грибов 26 ноября 1977 года. Похоронен на Новодевичьем кладбище в Москве. Позже на доме, где он жил, установили мемориальную доску.