По национальности серб. Родился в Австро-Венгрии. В юности жил в городе Пешт. После окончания Высшего технического училища и школы судовождения работал в торговом флоте — водил каботажные суда.
Во время русско-турецкой войны 1877—1878 гг. Костович командовал кораблём «Ада», перевозившим русский десант на Среднем Дунае. Получив звание капитана русского флота, он с конца 1870-х гг. работал в России.
В 1879 году Костович продемонстрировал летающие модели вертолёта, самолёта, орнитоптера, в 1881 г. приступил к постройке самолёта в натуральную величину, которая не была доведена до конца, и внимание изобретателя переключилось на постройку дирижабля «Россия».
Костович сконструировал многоцилиндровый бензиновый двигатель для дирижабля «Россия». Сооружение дирижабля было начато в 1882 году на Охтенской адмиралтейской верфи. Костовичу пришлось самостоятельно разработать все узлы дирижабля, механизмы и приборы. Постройка требовала больших средств, недостаток которых изобретатель ощущал постоянно. Костович нашёл новый для того времени материал «арборит», из которого построил весь каркас, многие части дирижабля и самую крупную его деталь — передаточный вал к винту дирижабля, представлявший собой трубу диаметром 0,2 м и длиной около 30 м. Это была фанера в современное понимании, то есть склеенный в несколько слоёв шпон с перекрещивающимися направлениями волокон.
В 1880-х годах О. С. Костович оборудовал фабрику «Арборит» под Санкт-Петербургом (40 рабочих). Основной продукцией фабрики были изделия из арборита: бочки, ящики, сундуки, строительные детали, разборные домики, а также экспериментальные (в небольших количествах) изделия из фанерных труб (лестницы, казачьи пики, рангоут).
В 1911 г. Костович снова начал заниматься летательными аппаратами. В сентябре 1911 г. он подал заявку и получил «Привилегию» на схемы самолётов (триплан и аэрогидроплан).
В 1913—1914 гг. О. С. Костович построил двухпоплавковый биплан (испытания не проводились)а в 1916 году — моноплан-амфибию.
