После смерти отца он получил виконтства Фезансаге и Крессейль, и несколько бароний. За поддержку брата против короля, его владения были конфискованы одновременно с владениями Жана V, и возвращены в 1461 г., после смерти Карла VII.
Он не принимал прямого участия в войне Общественного Блага, тем не менее, по стандартным обвинениям того времени: присвоение королевских прав, оскорбление и насильственные действия против королевских чиновников, грабеж дворян, людей церкви и простонародья, в их домах и на больших дорогах, чеканка фальшивой монеты, изнасилования и содомия, был арестован и заключен в замке Родель, где ему предстояло находиться «столько, сколько это будет угодно королю…» (1470). Решением парижского Парламента от 1472 г., он был приговорен к крупному штрафу и изгнанию на три года. Но вместо изгнания он был переведен в Бастилию, где содержался в нечеловеческих условиях, часто подвергаясь пыткам.
После смерти короля, в 1483 г. он получил свободу. В 1484 г. он обратился к Генеральным Штатам, собравшимся в Туре с прошением о реабилитации брата и возвращением себе своего законного наследства. По решению Штатов король возвратил ему титулы предков, но реальные владения надо было выкупать у их нынешних владельцев, получивших их от короля Людовика XI. Но Шарль, чьи умственные способности были изрядно подточены заключением и пытками, не был способен ни на какие действия. Предавшись разгулу, он окончательно потерял какое-либо понимание реальности. Он подарил графство Арманьяк Алену, сиру д’Альбре, он раздавал одни и те же земли то одному, то другому своему племяннику.
В итоге, решением Парламента Тулузы он был объявлен недееспособным, а опекунство над ним было передано Алену д’Альбре. С этого момента условия жизни Шарля не на много отличались от его заключения в Бастилии. Он переходил из рук одних опекунов к другим, причем иногда эти опекуны силой вырывали несчастного сумасшедшего друг у друга, чтобы от его имени пользоваться его землями.
3 июня 1497 г. Шарль умер в замке Кастельно-Монмирай. «У него оставалась только одна единственная рубашка, которой его прикрыли в гробу».
26 ноября 1468 г. он женился на Катрин де Фуа-Кандаль († 1510), дочери Жана де Фуа (1410—1485), графа де Беножа и де Кандаля, капталя де Бюша, и Маргариты Кердестон де Ла Поль-Суффолк (1426—1485), графини де Кандаль. Детей у них не было.
От Маргариты де Кло († 1471) он имел побочного сына Пьера, бастарда д’Арманьяка, барона де Коссада, признанного им своим сыном 21 мая 1486 г. Позже тот был узаконен (1501). Что-либо более точное сказать про него очень сложно, так как считается, что у Жана V тоже был незаконный сын Пьер, бастард д’Арманьяк. Историки постоянно путают обоих Пьеров, приписывая им одни и те же титулы, поступки и даже жену, Иоланду де ла Эй, даму де Пассаван, вдову Жана д’Арманьяка, герцога де Немура и внучку знаменитого Дюнуа. Известно только, что сын Шарля пользовался большим уважением в Арманьяке и Фезансаке, Штаты которых рекомендовали графу во всем слушаться сына. Несколько раз Пьеру приходилось оберегать земли отца от его жадных опекунов с оружием в руках.
После смерти Шарля процесс о разделе его наследства длился долгие годы, и окончился только в 1514 г., когда король Людовик XII передал спорные владения внучатому племяннику Жана V и Шарля Шарлю, герцогу д’Алансону, и его жене, Маргарите д’Ангулем. Парижский парламент пытался оспорить это решение, но в 1515 г. король Франциск I окончательно утвердил передачу владений дома д’Арманьяк своей сестре и зятю.
