До 17 лет Рыжов трудился в колхозе и даже занимал должность бригадира. Но затем всё же решился попробовать свои силы и отправился покорять Москву. Ивану удалось поступить в актёрское училище при Театре революции, которое он окончил в 1935 году.
Сразу после училища Рыжов поступил на службу в Театр революции, на сцену которого выходил до 1940 года. Затем актёра пригласили на киностудию «Союздетфильм» (теперь это киностудия имени Максима Горького). Первый фильм с участием Ивана Рыжова вышел годом раньше. Это была картина «Кубанцы», где Иван Петрович предстал в образе есаула Сороки. Первая роль в кино не принесла актёру сумасшедшей популярности, однако стала полезным опытом работы в кадре.
Далее последовали и другие киноработы, фильмография Ивана Рыжова постепенно пополнялась новыми образами. Актёр сыграл в картинах «В тылу врага», «Первопечатник Иван Федоров», «Кащей Бессмертный». Ивану Петровичу отлично удавались и эпизодические персонажи, и герои второго плана.
По мнению критиков, в молодости Иван Рыжов, несмотря на внушительный список работ, не сумел найти собственное амплуа. Но ближе к 50-ти актёр обрёл нишу, в которой и полюбился зрителям и режиссёрам: образ эдакого деда, добродушного и обладающего жизненной мудростью.
Именно таким актёра представляли поклонники: простоватым, но неизменно добрым и по-народному мудрым. По утверждению коллег, таким артист был и в реальной жизни – всегда готовым поддержать советом и участием. Интересно, что Иван Петрович почти не использовал грим: для его ролей хватало накладных усов и бороды.
Ивану Рыжову долгое время не доставались главные роли, персонажи актёра были в лучшем случае второстепенными. Однако каждый образ артист отыгрывал так, как будто от этого зависела судьба фильма.
Актёр сыграл более 300 ролей в таких фильмах и телесериалах, как «Брат героя», «Как поссорился Иван Иванович с Иваном Никифоровичем», «Лермонтов», «Кутузов», «Сказание о земле Сибирской», «Ревизор», «Илья Муромец», «Дело было в Пенькове», «Тихий Дон», «Муму», «Ко мне, Мухтар!», «Угрюм-река», «Преступление и наказание», «Тени исчезают в полдень», «Печки-лавочки», «Укрощение огня», «Большая перемена», «Иван да Марья», «Дни Турбиных», «Сказ про то, как царь Пётр арапа женил», «Белый Бим Чёрное ухо», «Вас ожидает гражданка Никанорова», «Цыган», «Экипаж», «Долгая дорога в дюнах», «Огарёва, 6», «Возвращение Будулая», «Француз», «Царь Иван Грозный», «Жизнь и необычайные приключения солдата Ивана Чонкина» и многих других.
Принимал участие в озвучивании фильмов «Вечера на хуторе близ Диканьки», «Андрей Рублёв», «Бег», «Офицеры», «Достояние республики», «Чиполлино».
Умер Иван Рыжов 15 марта 2004 года. Похоронен на Перепечинском кладбище.
В 2013 году к столетию со дня рождения актёра была выпущена почтовая карточка с изображением Ивана Рыжова в роли Фёдора Байкалова из кинофильма «Калина красная».