Сергей Филиппов родился 24 июня 1912 года в Саратове. Суровый отчим тщетно пытался научить пасынка хоть какому-то ремеслу - из мальчика не получилось ни пекаря, ни токаря, ни краснодеревщика. Зато однажды он заглянул в клуб на занятия балетной студии - и, несмотря на высокий рост, большие руки и ступни, в скором времени стал лучшим танцором.
Педагоги советовали Сергею профессионально заняться балетом, и в 1929 году молодой человек направился в Москву. Однако к его приезду приём в балетное училище был уже завершен, та же история повторилась и в Ленинграде. Сергею удалось стать учеником вновь открытого эстрадно-циркового техникума, и даже найти подработку в театре оперетты. Со временем преподаватели техникума, отметившие большой талант Филиппова, способствовали его переводу в Вагановское училище. В 1933 году, завершив учёбу в техникуме, Сергей стал танцовщиком ленинградского Театра оперы и балета. Первой балетной партией Филиппова должен был стать кочегар в «Красном маке», но однажды во время репетиций актёр потерял сознание. Приговор врачей был суров - балетные нагрузки слишком велики для организма. Филиппов стал работать в Театре эстрады, где выступал не только с танцевальными, но и с комедийными номерами.
В 1937 году молодой актёр впервые появился на экране – сыграл белофинна в фильме «За советскую Родину». И хотя во время съёмок ему пришлось несколько раз окунаться в ледяную воду, от последующих приглашений кинорежиссёров Филиппов отказываться не стал. Затем последовали съёмки в «Волочаевских днях», «Члене правительства», «Новых похождениях Швейки», «Беспокойном хозяйстве», «Золушке», «Музыкальной истории», «Кащее Бессмертном» и других фильмах. К сожалению, талант эксцентрика, органично присущий Филиппову, оставался почти невостребованным, зато ему в изобилии доставались роли отрицательных персонажей.
Очень успешными стали для актёра и послевоенные годы, когда его популярность у зрителей стала просто невероятной. Самой большой ролью этого периода стал Алмазов в «Укротительнице тигров». Многие эпизодические роли Филиппова вошли не только в историю кинематографа, но и в фольклор. Например, лектор в «Карнавальной ночи», Масик в «Девушке без адреса» и многие другие.
В 1970 году он получил приглашение на роль Воробьянинова в «Двенадцати стульях». Успех фильма был невероятным, Сергей Филиппов не мог свободно ходить по улице - прохожие его узнавали, просили автограф, а сам актёр после съёмок удачно перенёс сложнейшую операцию и спустя десять лет ещё раз сыграл «предводителя дворянства» в «Комедии давно минувших дней». Актёр продолжал сниматься, преимущественно в комедийных фильмах («Табачный капитан», «Не может быть», «Летучая мышь» и других), хотя среди его ролей были также Губарев в «Блокаде», продавец в «Мере пресечения», художник в «Таинственном старике». Последними его ролями стали пациент в «Собачьем сердце» и пенсионер в «Операции Кооперация».
За свою жизнь Сергей Филиппов сыграл в 100 фильмах и запомнился зрителям как яркий комедийный актёр.
Умер Сергей Николаевич 19 апреля 1990 года. Похоронен рядом со второй супругой на Северном кладбище Санкт-Петербурга. Петербургская гильдия киноактёров установила на могиле бюст.
Сын актёра, Юрий Сергеевич Филиппов, в память о своём отце написал книгу «А есть ли жизнь на Марсе?» и снял одноимённый документальный фильм.
В Пятигорске, Чебоксарах и Екатеринбурге открыты памятники Остапу Бендеру и Кисе Воробьянинову из фильма «12 стульев» Леонида Гайдая с незабываемыми Арчилом Гомиашвили и Сергеем Филипповым в главных ролях.
А мечтой любимого актёра режиссёра Гайдая была роль положительного персонажа, сыграть которую ему так и не довелось.