После окончания музыкальной школы в 1922—1927 гг. играл на тромбоне в духовом оркестре Военно-морских сил Эстонии под руководством Раймонда Кулля; затем учился у него же в Таллинской консерватории. Одновременно в 1927—1941 гг. играл в оркестре оперного театра «Эстония». В 1941 г. дебютировал как дирижёр. В 1944 г. после эмиграции значительной части музыкантов Симфонического оркестра Эстонского радио во главе с его руководителем Олавом Роотсом был назначен главным дирижёром коллектива и занимал этот пост до 1950 г., уступив его Роману Матсову.
С 1935 г. преподавал в Таллинской консерватории, в 1956—1971 гг. проректор, с 1968 г. профессор. Под руководством Карпа в консерватории открылась специальность дирижёра духового оркестра, по которой он подготовил в 1962—1979 гг. 55 выпускников.
