Окончил в Санкт-Петербурге Николаевское кавалерийское училище, затем в 1884—1885 гг. занимался в Санкт-Петербургской консерватории у Леопольда Ауэра (скрипка) и Александра Рубца (теория музыки), в дальнейшем совершенствовал своё мастерство в Вене у Якоба Донта (скрипка) и Роберта Фукса (теория).
С 1890 г. начал концертировать в Вене, Москве, Остзейских губерниях. В 1895 г. обосновался в Полтаве, организовал симфонический оркестр, который с 1898 г. давал в городе концерты. В 1903 г. оркестр под управлением Ахшарумова предпринял масштабный пятимесячный концертный тур по всей России, дав более 50 концертов (с оркестром, в частности, выступал виолончелист Михаил Букиник). Одновременно руководил в Полтаве отделением Императорского Русского музыкального общества (с 1899 г.) и музыкальными классами при нём (с 1902 г., в 1904 г. преобразованы в музыкальное училище).
В 1925 г. основал и возглавил Воронежский государственный симфонический оркестр.
