Родился в 1809 г. в Бахмутском уезде Екатеринославской губернии и происходил из поселян села Покровского.
В 1831 г. Щербина поступил на службу рекрутом и в следующем году зачислен был рядовым в Кавказский сапёрный батальон.
В промежуток времени затем, с 1839 по 1846 г., он последовательно произведён был в унтер-офицеры 4-го, 3-го и 2-го класса.
Большую часть службы Щербина провёл в экспедициях: в 1834 г. участвовал во взятии и истреблении Гимр и Гоцатля; в 1835 г. — в устройстве сухопутного сообщения в Абхазии, в 1837 г. — в действиях на Черноморском берегу, в 1840 г. — в экспедиции Галафеева и Граббе, причем дважды был ранен ружейными пулями в левую руку, и в том же году Всемилостивейше пожалован, за отличие при взятии Валерикской позиции, Знаком отличия Военного ордена.
В последующие за тем годы, с 1844 по 1851 г., Щербина опять неоднократно участвовал в походах против горцев.
Когда, наконец, в 1853 г. вспыхнула Крымская война, он вместе с прочими выступил в поход, но на этот раз ему суждено было участвовать только в первой победе.
19 ноября под Башкадыкларом Щербина был тяжело ранен тремя пулями и окружен неприятельской конницей. Не имея возможности добраться до своих, он тем не менее боролся с врагом до последней минуты. Он видел, как неприятель устремился на сапёров и, крикнув своим: «Братцы, саперы, помните Щербину, умирайте по-моему!», пал под ударами турок.
