Родился в семье капитан-лейтенанта, впоследствии вице-адмирала, Сергея Фаддеевича Загорянского-Киселя.
22 декабря 1866 года поступил юнкером в Балтийский флот. 10 февраля 1867 года был переведен на Черноморский флот и в 1867-1868 годах плавал по Черному морю на императорской яхте «Тигр». 14 августа 1868 года снова переведен на Балтийский флот. 20 апреля 1869 года произведен в чин гардемарина. В 1869-1871 годах плавал на фрегате «Пересвет» по Балтийскому морю, а на корвете «Львица» по Черному морю.
17 мая 1871 года произведен в чин мичмана, а 2 июля был переведен на Черноморский флот. В 1871-1876 годах на пароходе «Казбек», корвете «Память Меркурия» и на яхте «Ливадия» плавал по Чёрному морю. 31 марта 1874 года произведен в чин лейтенанта, а 1 января 1875 года награжден орденом Св. Станислава 3-й степени.
3 ноября 1876 года назначен в 1-ю Черноморскую партию направляющуюся в действующую армию, 31 декабря назначен квартирмейстером Черноморского флотского экипажа действующего при главной квартире Южной армии. 17 января 1877 года казначеем Черноморского флотского отряда. Весной-летом того же года плавал на минных катерах по реке Днестр и участвовал в минных постановках на реках Прут и Дунай. 28 апреля командовал десантом, в составе трех офицеров, полусотни стрелков и десяти матросов, переправившимся через Дунай на турецкую сторону в Речет, где препятствовал турецким стрелкам стрелять по русским судам ставившим минные заграждения. 1 июня был назначен командиром парохода «Романия» с отчислением от должности квартирмейстера. 10 июня временно командуя пароходом «Стефан-чель-маре» осуществлял перевозку Рижского и Рязанского полков из города Галаца на турецкий берег реки Дунай. 11 июня командуя пароходом «Романия» осуществлял перевозку солдат лейб-Бородинского полка и участвовал в занятии города Мачина. В 1877-1878 годах командуя пароходом «Романия» плавал по реке Дунай в составе судов Черноморского отряда и с 9 августа по 1 сентября – в составе судов нижнее-дунайского отряда под командованием капитана 1-го ранга Н. И. Казнакова. 1 апреля 1878 года отчислен от должности казначея Черноморского флотского отряда. 5 сентября того же года за отличие оказанное при взятии города Мачина и при постановке минных заграждений Аполлинарий Сергеевич был награжден орденом Св. Анны 3-й степени с мечами и бантом.
9 августа 1878 года отчислен от должности командира парохода «Романия», 15 сентября был назначен командиром минного катера «Щука», на котором плавал по Черному морю и рекам Буг и Ингул. В 1879 году на пароходах «Эрклик» и «Пендераклия», корвете «Память Меркурия» и императорской яхте «Штандарт» плавал по Черному морю.
В 1880-1881 годах в должности вахтенного начальника на батарее «Кремль» плавал в Финском заливе, а на корвете «Аскольд» - в заграничном плавании.
В 1882-1885 годах на корвете «Скобелев» участвовал в кругосветном путешествии и в экспедиции к берегам Америки.
26 февраля 1885 года зачислен на оклад по чину капитан-лейтенанта. 18 января 1886 года награжден орденом Св. Владимира с бантом. 13 апреля того же года был произведен в чин капитана 2-го ранга, а 27 июня назначен старшим офицером корвета «Боярин», на котором плавал в составе судов учебного отряда Морского училища.
17 мая 1887 года назначен старшим офицером крейсера «Азия» на котором в 1887-1888 годах плавал в Финском заливе и Балтийском море. 6 февраля 1889 года отчислен от должности старшего офицера крейсера. С 26 марта по 8 сентября того же года занимал должность старшего офицера корвета «Скобелев», на котором плавал в составе судов учебного отряда Морского училища в Балтийском море и его заливах.
18 ноября 1889 года назначен командиром шхуны «Секстан», на которой в 1890-1891 годах плавал в Рижском и Финском заливах.
1 января 1892 года награжден орденом Св. Анны 2-й степени и назначен командиром двухбашенной броненосной лодки «Чародейка», на которой в 1892-1895 годах в составе учебного артиллерийского и практического отрядов плавал в Финском заливе. С 9 мая по 15 августа 1892 года временно исполнял обязанности командира 15-го флотского экипажа. С 13 сентября 1893 года состоял временным членом кронштадтского военно-морского суда.
