Отец будущего актёра участвовал в театральной самодеятельности: играл в труппе, организатором которой был Николай Плотников, а руководителем - бывшая актриса императорских театров Лучезарская. Там и состоялись первые выходы юного актёра на сцену. Если по сюжету в спектакле нужны были дети, то Анатолий Папанов с сестрой играли их.
В 1930 году семья переехала в Москву и поселилась на улице Малые Кочки (ныне улица Доватора). В 17 лет Анатолий Папанов начал заниматься в драматической студии при Доме культуры завода «Каучук», которой руководили актёры Театра имени Евгения Вахтангова во главе с Василием Кузой (именно его Папанов считал своим первым учителем).
Дебют Папанова в кино состоялся в 1937 году, когда он сыграл эпизодическую роль рабочего в фильме Михаила Ромма «Ленин в Октябре». Далее последовали ещё роли в эпизодах: «Ленин в 1918 году» (матрос), «Степан Разин», «Минин и Пожарский» (крестьянский мальчик), «Подкидыш» (прохожий), «Суворов» (солдат), «Ревизор» (чиновник), «Композитор Глинка» (адъютант Великого князя) и другие.
В начале Великой Отечественной войны 12 августа 1941 года Анатолий Папанов был призван и направлен в 73-й запасной стрелковый полк. В звании старшего сержанта командовал взводом зенитной артиллерии. 22 марта 1942 года попал в окружение под Харьковом и получил тяжёлое ранение: взрывом ему сильно изуродовало правую ногу и оторвало на ней два пальца. Шесть месяцев провёл в госпитале, в 21 год стал инвалидом третьей группы и первые несколько лет вынужден был ходить с тростью.
В 1943 году Папанов вернулся в Москву и поступил на второй курс актёрского факультета ГИТИСа. Обучался в мастерской под руководством артистов Василия и Марии Орловых. В 1945 году, на десятый день победы СССР в Великой Отечественной войне, Анатолий Папанов женился на своей однокурснице Надежде Каратаевой. В 1946 году, после окончания ГИТИСа Папанов получил приглашения работать в Малом театре и во МХАТе, но с женой и всем курсом уехал в Клайпеду создавать новый театр. До 1948 года выступал в Клайпедском русском драматическом театре, а затем по предложению режиссёра Андрея Гончарова перешёл в Московский академический театр сатиры, где играл почти 40 лет.
Большая кинороль у Папанова состоялась в 1961 году в эксцентрической комедии Эльдара Рязанова «Человек ниоткуда». В этом фильме актёр сыграл не только одну из главных ролей, но и ещё несколько эпизодических (вождь, спортсмен, актёр), позиционировав себя как блестящего острохарактерного комедийного актёра.
Первоначально роль Чудака была предложена Игорю Ильинскому, с которым Рязанов уже имел опыт сотрудничества в фильме «Карнавальная ночь». Однако Ильинский вскоре отказался от этой роли, как не подходящей ему по возрасту и тяжёлой физически. Тогда Рязанов пригласил на главные роли молодых актёров. Благодаря этому Анатолий Папанов (Аркадий Сергеевич Крохалёв, начальник антропологической экспедиции) и Сергей Юрский (Чудак, дикарь племени тапи) впервые сыграли в кино главные роли.
Однако истинным прорывом в кинокарьере Анатолия Дмитриевича стало его приглашение три года спустя режиссёром Александром Столпером на монументальную главную роль генерала Серпилина в экранизации романа Константина Симонова «Живые и мёртвые». За неё Папанов был удостоен Государственной премии РСФСР и главного приза на Первом Всесоюзном кинофестивале, а автор романа писал, что в дальнейшем «видел Серпилина именно таким, каким его сыграл Папанов».
После этого Анатолия Папанова стали часто приглашать режиссёры, причём он был одинаково убедителен и в комических, и в драматических ролях. Всего актёр участвовал в создании более семидесяти картин.
В фильмографии Папанова такие известные фильмы, как «Приходите завтра…» (1963), «Стёжки-дорожки» (1963), «Родная кровь» (1964), «Дети Дон Кихота» (1965), «Иду на грозу» (1965), «Берегись автомобиля» (1966), «Возмездие» (1967), «Семь стариков и одна девушка» (1968), «Служили два товарища» (1968), «Бриллиантовая рука» (1968), «Адъютант его превосходительства» (1969), «Белорусский вокзал» (1970), «12 стульев» (1976), «По семейным обстоятельствам» (1977), «Инкогнито из Петербурга» (1977), «Отцы и деды» (1982), «Холодное лето пятьдесят третьего…» (1987) и многие другие.
Кроме того, с 1960 года Папанов озвучил около ста мультфильмов, включая Волка из мультсериала «Ну, погоди!», ставшего его визитной карточкой. Сам актёр жаловался: «Ко мне с Волком так пристают, что он перегрыз всю мою биографию».
Анатолий Дмитриевич Папанов преподавал в ГИТИСе, а за год до смерти как режиссёр поставил спектакль «Последние» по одноимённой пьесе Горького. Будучи верующим человеком, очень хотел завершить постановку молитвой. Чтобы избежать возможных запретов, нашёл радиозапись молитвы в исполнении Фёдора Шаляпина и вставил её в финал спектакля.
Умер Анатолий Папанов 5 августа 1987 года в Москве, вернувшись со съёмок картины «Холодное лето пятьдесят третьего…», не дожив до своего 65-летнего юбилея всего два месяца. Похоронен на Новодевичьем кладбище.
Актёрскую династию Папанова-Каратаевой продолжила их дочь Елена, ставшая актрисой Московского драматического театра имени Марии Николаевны Ермоловой.
В честь Папанова названо небесное тело - малая планета № 2480 носит имя актёра. Этот типичный астероид главного пояса был открыт 16 декабря 1976 года советским астрономом Людмилой Черных в Крымской обсерватории.