Ранние годы
Ледли родился 27 января 1987 года в столице Уэльса — Кардиффе. Детство провёл в западном районе города, Фэйруотере. Там же получил образование в средней школе «Кантония» (англ. Cantonian High School).
Клубная карьера
«Кардифф Сити»
Джо с детства являлся поклонником клуба из своего родного города, «Кардифф Сити». В возрасте девяти лет Ледли был зачислен в Академию «ласточек». С первых дней в «Сити» патронаж над молодым талантливым футболистом взял бывший в то время капитаном первой команды, Грэм Кавана — он помогал Джо советами, как в игровом, так и в бытовом плане.
Пройдя все молодёжные команды «Кардиффа», 1 сентября 2004 года молодой полузащитник подписал с клубом свой первый профессиональный контракт. Дебют Ледли в первом составе «ласточек» состоялся уже 21 сентября — в тот день соперником «Сити» был «Милтон Кинс Донс». Матч был сыгран в рамках второго раунда Кубка английской лиги, «Кардифф» уверенно победил — 4:1.
16 октября Джо впервые вышел в футболке «Сити» в матче Чемпионшипа, в котором его клуб встречался с «Ротерхэм Юнайтед». 2 ноября, поразив ворота «Вест Хэм Юнайтед», Ледли открыл счёт своим мячам за «Кардифф».
По окончании сезона 2006/07 Джо был удостоен приза «Лучший гол года» за свой точный удар в поединке с «Барнсли», состоявшемся 5 августа 2006 года.
Ледли начал сезон 2007/08, находясь в отличной форме — за первые четыре месяца этого футбольного года он несколько раз удостаивался звания «Игрока матча». В октябре 2007 года Джо подписал с «Кардиффом» новое 2-летнее соглашение о сотрудничестве.
В декабре того же года к руководству «Сити» обратились представители клуба «Вулверхэмптон Уондерерс» с предложением по выкупу прав на валлийца. Сумма предполагаемого трансфера равнялась 2,5 миллионам фунтов стерлингов, и она могла быть увеличена ещё на миллион в зависимости от выступлений Ледли за «волков». «Сити» отклонил предложение «Вулверхэмптона», попутно повысив зарплату Джо. Следующим потенциальным новым работодателем Ледли стал представитель Премьер-лиги, «Эвертон», который также заявил о своём интересе к полузащитнику и сделал предложение «Кардиффу» в размере 3,5 миллионов. Руководство «ласточек» вновь ответило отказом и объявило, что переговоры по валлийцу будут вестись лишь с теми клубами, которые дадут за Джо пять миллионов фунтов.
На все спекуляции вокруг своей персоны ответил и сам Ледли, заявив, что хотел бы остаться в «Кардиффе», однако он вряд ли сможет устоять, если поступит предложение от «большой» команды. В конце зимнего трансферного окна сезона 2007/08 «Эвертон» вновь предпринял попытку пополнить валлийцем свои ряды, но «ирисок» опять ждал отказ «Сити».
12 февраля в матче против «Ковентри Сити» Джо получил повреждение подколенного сухожилия, выбыв из строя почти на два месяца. Прежнего Ледли болельщики «ласточек» увидели 6 апреля того же года в полуфинальном поединке Кубка Англии с «Барнсли». В этой встрече «Кардифф» победил с минимальным счётом 1:0, единственный гол забил Джо, выведя свою команду в первый с 1927 года финал официального турнира. Внеся весомый вклад в успех своего клуба, Ледли позже был признан «Игроком раунда» национального Кубка. Тем не менее «Кардифф» не смог завоевать трофей, проиграв в финальной встрече «Портсмуту».
По итогам сезона Ледли наряду с Полом Пэрри стал лучшим бомбардиром «Сити», забив во всех официальных турнирах 11 мячей.
1 сентября 2008 года Джо вновь оказался в центре трансферных пересудов — на этот раз в «Кардифф» обратилось руководство «Сток Сити» с предложением шести миллионов фунтов за игрока. «Сити» остался непреклонным и отказал «гончарам».
7 октября болельщики клуба во второй раз подряд признали Ледли лучшим игроком «Кардиффа» в минувшем сезоне. Свой первый гол в футбольном году 2008/09 Джо забил 15 ноября, поразив ворота «Кристал Пэлас». В том же матче валлиец получил вывих пальца ноги. Позже выяснилось, что повреждение оказалось более серьёзным и требовало хирургического вмешательства, врачи настаивали, что Ледли должен месяц провести на больничной койке. Однако сам футболист заявил о желании помочь команде несмотря на свою травму. На следующий поединок «Кардиффа», против «Суонси Сити», Ледли вышел с гипсом на повреждённом пальце и на 45-й минуте игры забил красивый гол, перекинув с дальней дистанции далеко вышедшего из ворот голкипера «суонс». Этот мяч впоследствии был признан «Лучшим голом сезона» в Чемпионшипе. 6 декабря 21-летний Джо впервые вывел свою команду на поле с капитанской повязкой, вследствие травмы капитана «Кардиффа», Даррена Пёрса и дисквалификации вице-капитана, Стивена Макфэйла.