Московская часть действия фильма происходит в характерном зигзагообразном доме из розового «московского» кирпича. Дом этот находится на Новокузнецкой улице, примерно посередине между станциями метро «Новокузнецкая» и «Павелецкая» (дом 17/19). На момент съёмок дом был суперсовременным - девятиэтажным, только что построенным в стиле конструктивизма, о котором, безусловно, ничего не слышали в средневековой Москве с её дворцами и храмами. Всё это должно было создать дополнительный контраст двух эпох. Здесь до середины сентября тоже снималась «натура»: проезды по улицам города «Скорой помощи» и милицейской «Волги»; панорама города с высоты птичьего полёта (когда царь восторженно произносит: «Лепота!»); звонки из телефонной будки Жоржа Милославского и подруги Якина; проезд Якина по городу (тот самый автомобиль, который снимался и в «Бриллиантовой руке»); пробежка Шурика по радиомагазинам; Шурик и Бунша во дворе дома; погоня у подъезда.
17 сентября натурные съёмки были завершены, и группа в течение почти двух недель находилась в вынужденном простое — ждала, когда будут готовы павильонные декорации. Эта работа требовала от декораторов дополнительных усилий, поскольку им предстояло воздвигнуть в одном павильоне целый комплекс, в который должно было войти сразу 16 объектов — 10 «современных» и 6 «палат Ивана Грозного».
Вот лишь некоторые из этих объектов: квартиры Шурика и Шпака, лестничная площадка (кстати, её в эти же дни использовали для съёмок ещё одной кинокомедии — «Большая перемена»), стоматологический кабинет, площадка подъезда на первом этаже, лифт (в нём должен был застрять Иван Грозный), царская зала, трапезная, зал для приёмов и т. д. Весь этот комплекс разместился на площади в 1428 квадратных метров.
Машину времени для съёмок в фильме создал художник, скульптор по дереву и карикатурист Владислав Почечуев. Первоначальный вариант машины времени, изготовленный специальным бюро, оказался невыразительным макетом стандартной ЭВМ.
Почечуев сам придумал модель, набросал эскиз и при помощи конструктора, слесаря и стеклодува за несколько дней сотворил новую машину времени, вызывающую у зрителей ощущение чуда. Почечуев получил премию в размере 40 рублей, а в справке из бухгалтерии было написано: «Деньги выданы за изобретение машины времени».
Исторические наряды для съёмок помогала подбирать знаменитая мосфильмовская художница Лидия Наумова. Она в своё время была художником по костюмам на картине Эйзенштейна «Иван Грозный». Оттуда и перешла половина одеяний.
С остальными работали новомодные модельеры. Наталью Селезнёву одевал сам Слава Зайцев, молодой, но уже популярный дизайнер. Его идеи пленяли сердца советских женщин. Зайцевские модели из нового фильма зрительницы зарисовывали в тетрадки прямо с экрана в кинотеатрах. Как, впрочем, и обстановку богато обставленной квартиры зубного врача Антона Семеновича Шпака.
Культовую сцену: «И тебя вылечат. И тебя тоже вылечат. И меня вылечат» – Крачковская вспоминала с ужасом. «Конечно, наголо меня не стригли, но на голове надето было два парика. Трудно было работать, потому что на купальную шапочку десятилетнего ребёнка нашивали сверху бобрик. А потом я надевала обычный парик. Всё это врезалось в кожу, лицо начинало отекать. Я просто рыдала».
Многие эпизоды рождались прямо во время съёмок и были импровизацией режиссёра или актёров. Гайдай придумал эпизод, когда царь сел на магнитофон, нажал на кнопку, и, услышав Высоцкого, прослезился, а когда героиня Натальи Кустинской целовала Якина, режиссёр закричал: «Сплюнь!». Многие фразы рождались на площадке. Этуш придумал: «Закусывать надо!», а Куравлев продолжил фразу: «Граждане, храните деньги в сберегательной кассе» своим словами: «Если, конечно, они у вас есть».
12 апреля фильм «Иван Васильевич меняет профессию» был сдан генеральной дирекции «Мосфильма». Оценив картину положительно, дирекция потребовала внести в него некоторые поправки. В частности, надо было сократить следующие эпизоды: погоню за Жоржем Милославским (в фильме осталось только её начало — когда Жорж удирает от милиции, облачившись во врачебный халат), пребывание царя в квартире Тимофеева (изъяли эпизод, где Иван Грозный жарит на кухне котлеты), забавы Жоржа в царских палатах, разговор в телефонной будке, улицы Москвы и другие. В целом из фильма вырезали 177 метров плёнки. Фильм был отснят за 71 съёмочный день.
«За чей счет этот банкет? Кто оплачивать будет?» – резонно задаётся вопросом самозванец Бунша. Сцена царского пира в комедии «Иван Васильевич меняет профессию» дорого обошлась самому Леониду Гайдаю. После начала съёмок режиссёр захотел, чтобы все яства, появляющиеся на столах, были настоящими, а не бутафорскими. Но такая статья расходов не была заложена в бюджет! Тогда Гайдай решил платить за всё сам. Банкет с чёрной и красной икрой, жареными поросятами и дефицитным осетром обошёлся ему в 200 рублей. Самое печальное, что полностью готовую сцену пришлось переснимать, когда на столе заметили забытую кем-то бутылку «Боржоми»...