Джеймс Дуглас был вторым сыном Арчибальда Дугласа, 7-го графа Дугласа и 1-го графа Эйвондейла. Первоначально для Джеймса планировалась духовная карьера, он получил образование в Кёльнском университете. Однако убийство королем Яковом II его старшего брата Уильяма Дугласа 22 февраля 1452 г. сделало Джеймса новым графом Дугласом, главой дома «Чёрных Дугласов» и лидером мятежа против короля Якова II.
В марте 1452 г. отряды Джеймса ворвались в крепость Стерлинг, в присутствии короля граф Дуглас совершил церемонию отказа от повиновения вероломному сюзерену и сжег город. Это продемонстрировало приверженность Дугласа традиционным рыцарским нормам, которые для наступившего кризиса в отношениях короля и крупной аристократии были уже устаревшими. Тем не менее сторонники «Чёрных Дугласов» подняли мятеж против Якова II на севере и западе Шотландии. Сам граф Дуглас обратился за поддержкой к королю Англии.
Однако вскоре инициатива перешла к королю: ему удалось заручиться поддержкой шотландского парламента и сплотить вокруг себя среднее дворянство, недовольное влиянием крупной аристократии. Королевская армия вторглась во владения Дугласов и вынудила графа пойти на примирение с Яковом II. По условиям соглашения 22 августа 1452 г. Дуглас соглашался на прощение участников убийства его брата и обязался не заключать союзов с другими магнатами. За это король уступал графу земли в западном Голлуэе и давал согласие на брак Дугласа с наследницей Голлуэя.
В марте 1455 г., воспользовавшись отстранением от власти в Англии союзника Джеймса Дугласа Ричарда, герцога Йоркского, король Яков II возобновил борьбу с Дугласами. Королевские войска заняли часть владений графа и разрушили несколько его замков. Джеймс был вынужден бежать в Англию. Вскоре войска Дугласов были разбиты в битве при Аркингольме, а их сторонники в Шотландии казнены. Созванный по инициативе Якова II парламент утвердил обвинение Дугласа в государственной измене и принял решение о конфискации навечно всех владений графа Джеймса.
Оказавшись в Англии, Джеймс Дуглас перешёл на службу к английскому королю, который использовал графа для вмешательства во внутренние дела Шотландии. В 1462 г. Дуглас и лорд Островов заключили договор с королем Англии Эдуардом IV, в соответствии с которым, в случае завоевания англичанами шотландского королевства Дуглас и лорд Островов получали во владение всю Северную Шотландию. Встав во главе английских войск, Дуглас предпринял ряд походов на приграничные регионы Шотландии, завершившихся, впрочем, без особого успеха.
В 1475 г. граф Дуглас участвовал в походе Эдуарда IV во Францию. Позднее он встал во главе политики английских королей по формированию в Шотландии оппозиции королевской власти и вступил в переписку с рядом шотландских баронов, недовольных правлением Якова III. За голову Дугласа король Шотландии даже назначил специальное вознаграждение, а любые контакты с ним стали приравниваться к государственной измене. В 1483 г., воспользовавшись мятежом шотландских магнатов против короля, Дуглас вместе с герцогом Олбани возглавили английское вторжение в Шотландию. Однако в июле 1484 г. Дуглас был пленен в Лохмабене одним из шотландских дворян и выдан королю Якову III. Граф был помещен в аббатство Линдорес.
После вступления на престол Шотландии короля Якова IV в 1488 г. Дуглас был прощен, ему назначили пенсион из государственной казны, однако владения не вернули. В 1491 г. Джеймс Дуглас, последний представитель дома «Чёрных Дугласов», скончался.
