Хай родился в 1787 в Шотландии. Образование получил в Royal High School (Эдинбург, Шотландия). В 1804 году унаследовал титул маркиза Твиддэйла (его отец умер в плену во Франции). Участвовал в Англо-американской войне 1812 в чине подполковника 100-го пехотного полка (100th Regiment of Foot).
28 марта 1816 года женился на лэди Сьюзан Монтегю (младшая дочь 5-го герцога Манчестера); у них было 14 детей:
- лэди Сьюзан Джорджиана (1817-6 мая 1853), замужем за 1-м маркизом Далхаузом
- лэди Ханна Шарлотта (1818-10 ноября 1887), замужем за Саймоном Тэйлором
- лэди Луиза Джейн (1819-9 сентября 1882), замужем за Робертом Рэмси
- лэди Элизабет (27 сентября 1820-13 августа 1904), замужем за 2-м герцогом Веллингтоном.
- Джордж, граф Гиффорд (22 апреля 1822-22 декабря 1862)
- лэди Миллисэнт (1823-26)
- лорд Артур, позже граф Гиффорд и позже 9-й маркиз Твиддэйл (9 ноября 1824-29 декабря 1878)
- лорд Уильям Монтэгю, позже 10-й маркиз Твиддэейл (27 января 1826-25 ноября 1911)
- лорд Джон (23 августа 1827-4 мая 1916)
- лэди Джэйн (1830-13 декабря 1920), замужем за сэром Ричардом Тэйлором
- лэди Джулия (1831-1915)
- лорд Чарльз Эдвард (1833-1912)
- лорд Фредерик (1835-1912)
- лэди Эмили (1836-4 апреля 1924), замужем за сэром Робертом Пилем, 3-м баронетом
В 1820 году лорд Твиддэйл стал рыцарем Ордена Чертополоха. Достиг чина фельдмаршала и был губернатором Мадраса (Индия) в 1842-48.
В 1823-76 занимал почетную должность Лорд-лейтенанта Восточного Лотиана (Шотландия).
Умер 10 октября 1876 в Йестере (Шотландия), где и похоронен.
