Учился в Академии художеств в Петербурге у Архипа Куинджи. Закончил Академию с большой золотой медалью, затем путешествовал по Европе. С 1898 по 1901 год выставлялся в Берлине, Мюнхене, Париже и Лионе, картины имели успех у публики и художественной критики. С 1901 года жил в Риге. В 1902 году совершил путешествие в Норвегию, Исландию и на Шпицберген, где изучал эффекты, связанные со снегом. С 1895 по 1910 год входил а в объединение «Мир искусства». С 1906 по 1909 год жил в Эстонии, в 1917—1919 — в Норвегии.
С самого начала Пурвит разработал собственный стиль, близкий как к импрессионизму, так и к северному модерну. Ему особенно удавались весенние и зимние пейзажи. В последние годы он много занимался графикой.
С 1909 по 1915 год Пурвит был директором Рижской городской художественной школы, а с 1919 года — ректором созданной Академии художеств. В Академии у Пурвита была пейзажная мастерская, которой он руководил до 1941 года. Одновременно с 1919 по 1940 и с 1914 по 1944 год он был директором Рижского государственного художественного музея.
В 1944 году, опасаясь ареста советскими войсками, Пурвит эмигрировал в Германию. Умер 14 января 1945 в Бад-Наухайме, где находился на лечении. В 1994 году прах художника был перезахоронен в Риге.
