Начальное художественное образование получил во Второй киевской гимназии у И. М. Сошенко. Позже брал уроки в Петербурге и у Т. Г. Шевченко. Писал масляными красками ещё до поступления в 1861 году в Академию художеств, где стал делать быстрые успехи, так что в 1863 году уже получил большую серебряную медаль. Потом писал этюды в Крыму, Киевской губернии и Финляндии.
1868 год — окончил Академию художеств со званием классного художника 1-й степени, а за крымские виды получил золотую медаль и право поездки за казённый счет за границу. Три года (1869—72) «пенсионером от Академии» он работал в Париже, Швейцарии, Германии и Италии.
1874 год — сделан академиком и в 1878 году — профессором за картину «Сенокос». Член Совета Академии.
Принимал участие в деятельности Киевской рисовальной школы Н. И. Мурашко, в организации Киевского художественного училища.
Несколько лет после того он писал на мотивы, почёрпнутые в Тайцах (Петербургской губернии) и Гатчине, наконец, в промежуток 1885—90 годов занимался живописью преимущественно морских видов, которыми занимался и прежде.
Живопись Орловского, сначала не вполне свободная («Деревня Коказ в Крыму» 1868, вошла в собрание Академии художеств) стала мало-помалу широкой, а колорит стал обогащаться. Хороший рисовальщик, Орловский помещал в свои картины хорошо поставленные и расположенные фигуры.
Картины художника очень разнообразны как по природе (от Финляндии до Крыма), так и по содержанию (пасмурный день, зимняя лунная ночь, закат солнца, осенний разлив и т. д.). Он писал болота, заросшие пруды, также как луга и нивы, берёзовые и грабовые леса, придавая им романтизированный облик, играя со светом; но его специальность — преимущественно открытые виды, а не внутренность леса. Орловский чаще хороший наблюдатель природы, чем искатель поэтических настроений, хотя не лишён и последних (например «Зимняя лунная ночь», входившая в коллекцию великого князя Владимира Александровича). Его морские виды замечательны детальным рисунком больше, чем колоритом («Вал», 1888 г., была приобретена великим князем Константином Константиновичем).
Из его картин можно ещё назвать:
- «Привал охотников в лесу белого бука» (1882),
- «Облака над морем» (1885),
- «Пасмурный день» (1889).
Много писал для аристократии Москвы и Петербурга, для царской фамилии, был популярен наравне с И. К. Айвазовским, в его творчестве видно влияние А. И. Куинджи.
Умер в Италии, похоронен в Киеве.
