Образование получил в артиллерийском и инженерном корпусах. Был дежурным генералом при военном министре графе Аракчееве. В 1812 году командовал 7-ой пехотной дивизией, отличился в боях под Смоленском и Бородино. В 1813 году командовал 10-м пехотным корпусом. В сражении под Лейпцигом Капцевич, несмотря на сильную контузию, одним из первых ворвался в город. Награждён 6 октября 1813 года Орденом Св. Георгия 2-го кл.
В 1819 году назначен командиром Отдельного Сибирского корпуса и наказным атаманом Сибирского казачьего войска, а в 1822 году — генерал-губернатором Западной Сибири, где улучшил быт ссыльных, определил порядок службы сибирского казачьего войска. С 1828 года командовал отдельным корпусом внутренней стражи.
Умер 3 июля 1840. Похоронен в с. Никольское Сакмарского р-на Оренбургской области, рядом с церквью.
