Несмотря на то, что отец Холста перебивался случайными заработками, в семье была скрипка, одна на всех. Семилетний Оскар начал играть на ней втайне от отца, опасавшегося, что слишком маленький ребёнок испортит инструмент, однако затем, поверив в одарённость мальчика, его отправили учиться к городскому скрипачу. Холст играл в кафе, затем в кинотеатрах, а потом отправился в Христианию, где ему оказали поддержку Юхан Халворсен и Ингебрет Холанн. В 1909 г. он впервые выступил с концертом в родном городе, в 1914 г. дебютировал в столице. Затем Холст совершенствовал своё мастерство в Берлине под руководством Карла Флеша.
Вернувшись в Норвегию, Холст поступил в Филармонический оркестр Осло при его основании в 1919 г. и на протяжении 42 лет играл в его составе, в том числе долгие годы в качестве концертмейстера. Одновременно он выступал как ансамблист, играя вторую скрипку в квартете Арве Арвесена и в квартете Филармонического общества (первая скрипка — Робер Соэтан). Как дирижёр руководил оркестрами в Саннефьорде и Сарпсборге, преподавал (среди его учеников Лейф Йоргенсен).
