О детских и юношеских годах жизни Олафа ничего не известно. В 1066 году король Норвегии Харальд Суровый предпринял поход в Англию, с целью захватить английский трон. В этом походе Харальда сопровождали младший сын Олаф, жена Елизавета Ярославна и две дочери. Своего старшего сына, Магнуса, Харальд оставил в Норвегии и провозгласил конунгом. Высадившись в Англии, норвежская армия разбила северо-английское ополчение в битве при Фулфорде, где, по сообщению саг, отличился Олаф. После занятия Йорка, Харальд Суровый разделил свою армию: треть оставил для охраны кораблей, а с остальными силами высадился на побережье. В числе оставшихся на кораблях был и Олаф, сын Харальда. После разгрома норвежцев при Стамфорд-Бридже, где среди погибших был и Харальд Суровый, Олаф заключил мир с королём Англии Гарольдом Годвинсоном и дал клятву никогда больше не нападать на Англию. После этого остатки норвежской армии (на 24 кораблях, из более чем 300, принимавших участие во вторжении) покинули Англию. Перезимовав на Оркнейских островах, в 1067 году Олаф возвратился в Норвегию. Старший брат, Магнус II добровольно разделил с ним королевство: Олаф стал конунгом Восточной Норвегии, а Магнус конунгом Северной Норвегии.
В следующем году датский король Свен II Эстридсен попытался предъявить права на Норвегию, однако, встретив отпор со стороны Олафа, отказался от своих претензий и заключил с ним мир. Позднее, в 1070 году, Олаф женился на дочери Свена Эстридсена, Ингрид, а сын Свена, Олаф Свенсон — на сводной сестре норвежского короля, Ингигерд.
В 1069 году заболел и умер Магнус II, в результате чего Олаф стал единоличным королём Норвегии. На протяжении всего правления Олафа в Норвегии установился период мира: расцвела торговля, произошёл рост городов, укрепился авторитет церкви и королевской власти. Связи между Норвегией и Западной Европой упрочились. В 1070 году Олаф основал город Берген, ещё при его жизни ставший крупным торговым центром. Олафу III приписывают создание в Норвегии купеческих гильдий, при нем в королевстве были построены первые каменные церкви. Олаф установил прочные отношения с Папой Римским, в Норвегии были организованы четыре епархии, подчиняющимися Гамбург-Бременскому архиепископу. Олаф был первым норвежским королём, умевшим читать и писать.
Брак Олафа и Ингрид Датской был бездетным, но наложница Тора родила ему сына Магнуса. Король Олаф III Тихий умер 22 сентября 1093 года и был похоронен в Тронхейме. В 1998 году в Бергене была установлена абстрактная конная статуя Олафа Тихого.
