Первая мировая война
15 августа 1914 года — поступил добровольцем на военную службу, рядовым в артиллерийскй полк. С февраля 1915 — унтер-офицер, с мая 1915 — вице-вахмистр. В июле 1915 года — тяжело ранен (в госпитале до марта 1916). С августа 1915 — лейтенант. За время войны награждён Железными крестами обеих степеней и ещё двумя орденами.
Между мировыми войнами
Продолжил службу в рейхсвере, в артиллерии. К началу Второй мировой войны — командир артиллерийского батальона, подполковник.
Вторая мировая война
В сентябре-октябре 1939 года — участвовал в Польской кампании, награждён планками к Железным крестам обеих степеней (повторное награждение).
С декабря 1939 года — командир артиллерийского полка.
В мае-июне 1940 года — участвовал во Французской кампании.
С 22 июня 1941 года — участвовал в германо-советской войне (командир артиллерийского полка 1-й танковой дивизии). За бои под Москвой в декабре 1941 года награждён Золотым немецким крестом.
С февраля 1942 года — полковник. В апреле 1942 — награждён Рыцарским крестом и назначен командиром кавалерийского отряда особого назначения (в составе трёх конных полков). С 24 июля 1942 — в командном резерве.
В январе-мае 1943 года — временно командовал 14-й моторизованной дивизией. С декабря 1943 по февраль 1944 — в штабе восточных войск (Osttruppen).
В феврале-мае 1944 года — командир боевой группы на северном участке Восточного фронта. С июля 1944 — командир 4-й кавалерийской бригады. В августе 1944 — награждён Дубовыми листьями к Рыцарскому кресту (за бои в ходе советской операции «Багратион»). С ноября 1944 — генерал-майор.
С февраля 1944 года — командир 4-й кавалерийской дивизии, бои против советских войск в Венгрии. 20 апреля 1945 — назначен командующим 41-м танковым корпусом и произведён в звание генерал-лейтенанта, затем неудавшаяся попытка прорваться в окружённый советскими войсками Берлин. В мае (после падения Берлина) корпус отошёл на запад.
После капитуляции Германии 8 мая 1945 — генерал-лейтенант Хольсте взят в американский плен (отпущен на свободу в 1947 году).
