Учился на филологическом факультете Киевского университета (окончил в 1925), затем ? в Киевском высшем музыкально-драматическом институте (класс дирижирования В. Бердяева, окончил в 1928). После кратковременного периода преподавания в Киеве работал дирижёром в Тирасполе (1931?33), Донецке (1933), Саратове (1934?37), Харькове (1937?40), Одессе (1940?41). Находясь в эвакуации, руководил симфоническим оркестром УССР и Таджикским оперным театром. После окончания войны Климов стал дирижёром Одесского оперного театра и профессором Одесской консерватории, с 1948 по 1954 был директором Киевской консерватории. С 1954 по 1961 возглавлял Киевский театр оперы и балета, в 1961?1967 ? театр имени Кирова в Ленинграде.
Заслуженный деятель искусств Таджикской ССР (1945) и Украинской ССР (1949).
Сын А. И. Климова ? скрипач, лауреат Первого конкурса имени Чайковского Валерий Климов.
