На военную службу вступил 8 июля 1839 года хорунжим в Астраханский № 1 казачий полк. Некоторое время спустя перевёлся в армейскую кавалерию и в 1856 году был произведён в майоры.
Произведённый в 1860 году в подполковники Гулькевич получил назначение на службу в Западную Сибирь, где принимал участие в Степных походах и в 1863 году за отличие получил чин полковника.
20 марта 1865 года он был назначен временным наказным атаманом Сибирского казачьего войска. 30 августа 1866 года получил чин генерал-майора (со старшинством от 12 апреля 1870 года) и назначен состоять по иррегулярным войскам.
В 1867 году Гулькевич получил должность наказного атамана Астраханского казачьего войска, которую занимал до 1875 года. Затем он состоял при Главном управлении иррегулярных войск.
В 1884 году уволен в отставку с производством в генерал-лейтенанты. За время своей службы Гулькевич был награждён орденами св. Анны 3-й степени (в 1852 году, бант к этому ордену пожалован в 1854 году), св. Владимира 4-й степени с бантом (в 1864 году, за выслугу 25 лет в офицерских чинах), св. Владимира 3-й степени (в 1868 году), св. Станислава 1-й степени (в 1869 году) и св. Анны 1-й степени (в 1872 году).
Скончался 22 ноября 1891 года в Санкт-Петербурге, похоронен на кладбище Воскресенского Новодевичьего монастыря.
Его братья: Николай (тайный советник, управляющий Кавказским комитетом), Пётр (действительный статский советник) и Иван (майор).
