Освоив профессию столяра, с 17-летнего возраста работал на фабриках музыкальных инструментов по всей Европе: в Копенгагене, Стокгольме, Париже, Марселе, Мадриде, Лиссабоне и др. В 1858 г. вернулся в Саксонию и в 1859 г. основал в Дрездене собственное производство.
Капс осуществил ряд нововведений в изготовлении фортепиано. В 1865 году он начал производить инструменты особо малых габаритов (длиной 150 см) под названием «укороченный рояль» (нем. Stutzflugel). В 1875 г. Капсом был сконструирован особо чувствительный резонатор, в 1876 г. — рама особой конструкции с трёхуровневым размещением струн. Инструменты Капса получили ряд наград на международных выставках, в том числе Большую золотую медаль Московской Всемирной политехнической выставки. Фабрика Капса получила звание придворного поставщика королевства Саксонии.
После смерти Капса производство возглавил его сын Эрнст Ойген Капс (1866—1910).
