Грегг родился в Колумбии, штат Южная Каролина и был внуком Эзека Хопкинса, командора Континентального флота. Он учился в Южнокаролинском колледже (сейчас Университет Южной Каролины). Работал юристом вместе с отцом, участвовал в Мексиканской войне майором 12-го пехотного полка. Увлекался астрономией, ботаникой, орнитологией, иностранными языками, а также имел свою личную обсерваторию.
Он был активным сторонником сецессии, и после отделения Южной Каролины от Союза (в декабре 1860 года) помог организовать 1-й добровольческий Южнокаролинский полк, в который сам поступил полковником. Позже стал бригадным генералом и служил в легкой дивизии Эмброуза Хилла. Его бригада сыграла решающую роль во время атаки Хилла при Гэинс-Милл (во время Семидневной битвы). Получил известность после Второго сражения при Бул-Ране, где его люди отбили шесть атак федералов. Позже участвовал в Мерилендской кампании генерала Ли. В сражении при Энтитеме был ранен в бедро той же пулей, что сразила генерала Лоуренса Брэнча.
В битве при Фредериксберге его бригада попала под удар дивизии Джорджа Мида. Грегг был ранен в позвоночник и умер два дня спустя. Генералы Джексон и Хилл навещали его, когда он умирал в доме Йерби. Он скончался перед восходом 15 декабря. Похоронен на кладбище Элмвуд (округ Колумбия, штат Южная Каролина).
