Родился 9 декабря 1833 года в Ревеле, происходил из дворян Лифляндской губернии. Образование получил в 1-м Московском кадетском корпусе. В военную службу вступил 13 августа 1852 года прапорщиком в 18-ю артиллерийскую бригаду.
В 1853, 1855 и 1856 годах принимал участие в военных действиях против турок и англо-французов в Крыму, 6 сентября 1854 года за отличие произведён в подпоручики и 23 октября 1856 года — в поручики. Также он в 1855 году был награждён орденом св. Анны 4-й степени.
В 1858 году Будде был командирован на Кавказ, где принял участие в кампании против горцев.
26 августа 1862 года получил чин штабс-капитана, 2 июля 1865 года произведён в капитаны.
В январе 1869 года Будде был назначен командиром роты крепостной артиллерии, 17 февраля 1869 года произведён в подполковники и 3 сентября 1870 года назначен командиром 1-й батареи 12-й артиллерийской бригады.
Произведённый 30 августа 1876 года в полковники, в следующем году Будде выступил на Балканский театр начавшейся русско-турецкой войны. За отличие при переправе через Дунай Будде был награждён орденом св. Анны 2-й степени с мечами, а 5 мая 1878 года удостоился получить орден св. Георгия 4-й степени
9 декабря 1888 года Будде был произведён в генерал-майоры и назначен командиром 17-й артиллерийской бригады, с 9 января 1890 года возглавил 9-ю артиллерийскую бригаду.
Далее Будде занимал должность начальника артиллерии 14-го (с 9 августа 1896 года) и 21-го (с 1 января 1898 года) армейских корпусов, причём 6 декабря 1897 года был произведён в генерал-лейтенанты. 2 сентября 1902 года Будде оставил строевую службу и был назначен членом Александровского комитета о раненых, 6 декабря 1906 года произведён в генералы от артиллерии.
Скончался 16 июня 1915 года в Киеве.
Среди прочих наград Будде имел ордена:
- Орден Святой Анны 4-й степени (в 1855 году)
- Орден Святого Станислава 3-й степени с мечами (в 1859 году)
- Орден Святой Анны 3-й степени (в 1862 году)
- Орден Святого Станислава 2-й степени с мечами (в 1867 году)
- Орден Святой Анны 2-й степени с мечами (в 1877 году)
- Орден Святого Георгия 4-й степени (5 мая 1878 года)
- Орден Святого Владимира 4-й степени (в 1878 году за беспорочную выслугу 25 лет в офицерских чинах, в 1879 году к этому ордену пожалованы мечи и бант)
- Орден Святого Владимира 3-й степени с мечами (в 1881 году)
- Орден Святого Станислава 1-й степени (30 августа 1892 года)
- Орден Святой Анны 1-й степени (в 1895 году)
- Орден Святого Владимира 2-й степени (в 1901 году)
- Орден Белого орла (13 августа 1902 года)
- Орден Святого Александра Невского (6 декабря 1909 года, бриллиантовые знаки к этому ордену пожалованы 22 марта 1915 года).
Его брат Виктор также с отличием участвовал в русско-турецкой войне 1877—1878 года и впоследствии был генералом от инфантерии. Другой брат, Евгений, был подполковником.
