В 1927 году Александр Зархи окончил Ленинградский государственный фотокинотехникум (ныне Санкт-Петербургский государственный институт кино и телевидения). В 1927–1928 годах учился на киноотделении Ленинградского Пролеткульта.
Дебют Александра Зархи в качестве кинорежиссёра состоялся в 1928 году – совместно с кинорежиссёрами Иосифом Хейфицем, Владимиром Гранатманом и Михаилом Шапиро был снят фильм «Песнь о металле».
С 1929 года работал на ленинградской кинофабрике «Совкино» (ныне «Ленфильм»), где совместно с Иосифом Хейфицем организовал молодёжное объединение – «1-ю комсомольскую постановочную бригаду», которая в 1930 и 1931 годах выпустила их первые совместные фильмы «Ветер в лицо» и «Полдень». Работал на киностудиях Ташкента, Тбилиси, Баку, Минска.
В 1930–1950-х годах Александр Зархи с Иосифом Хейфицем создали 12 фильмов, среди которых «Моя Родина» (1933), «Депутат Балтии» (1936), «Член правительства» (1939), «Малахов курган» (1944), «Во имя жизни» (1946), «Драгоценные зёрна» (1948), «Огни Баку» (1950).
В 1952 году перешёл к индивидуальной режиссуре. С 1955 года – режиссёр киностудии «Мосфильм».
В 1957 году Александр Зархи снял фильм «Высота» по одноимённому роману Евгения Воробьёва с Николаем Рыбниковым и Инной Макаровой в главных ролях.
В 1962 году вышел фильм «Мой младший брат» по сюжету романа Василия Аксёнова «Звёздный билет», где главные роли исполнили: Александр Збруев, Олег Даль, Людмила Марченко, Андрей Миронов, Олег Ефремов.
В 1963–1964 годах Александр Зархи читал курсы лекций «Сценарий и актёр», «Беседа о кинорежиссуре» на режиссёрском отделении Высших курсов сценаристов и режиссёров.
В 1967-м режиссёр снял Татьяну Самойлову, Василия Ланового, Николая Гриценко, Юрия Яковлева, Ию Саввину, Анастасию Вертинскую и других замечательных актёров в драме «Анна Каренина» по одноимённому роману Льва Николаевича Толстого.
В 1980 году на экраны вышла биографическая драма Александра Зархи «Двадцать шесть дней из жизни Достоевского», в которой роли исполнили Евгения Симонова, Анатолий Солоницын и Евгений Дворжецкий.
В 1986 году режиссёр снял Леонида Филатова, Леонида Броневого, Олега Голубицкого, Рубена Симонова, Валерия Золотухина, Анатолия Ромашина, Александра Граве в последнем своём фильме «Чичерин» (о первом наркоме иностранных дел СССР, дипломате Георгии Васильевиче Чичерине).
Александр Зархи – соавтор сценариев почти ко всем своим фильмам.
Режиссёр принимал участие в документальном фильме «Николай Рыбников» (1995) и телевизионной художественно-постановочной программе «Легенды мирового кино» (2005) телеканала «Культура».
Александр Зархи – автор книг мемуарной прозы: «О самом главном (Заметки кинорежиссёра)» (1964); «Когда опустится занавес» (1979); «Автобиографический очерк» (1966).
Умер Александр Зархи 27 января 1997 года в Москве. Похоронен на Новодевичьем кладбище.
Дочь Александра Григорьевича – Нина Зархи – стала кинокритиком и киноведом.