Происхождение
Чарльз Брэндон был сыном сэра Уильяма Брэндона и леди Элизабет Бруин. Его родители вступили в брак около 1475 года. Сэр Уильям служил знаменосцем при Генрихе Тюдоре и был убит королём Ричардом III в сражении на Босвортском поле 22 августа 1485 года.
Определить точную дату рождения Чарльза Брэндона не представляется возможным, но скорее всего он появился на свет не позднее 1484 — 1485 гг.
Жизнь при дворе
После гибели отца и смерти матери (скончалась в 1493 или 1494 гг.) мальчик был отправлен к королевскому двору, где с первых же дней пребывания пользовался благосклонным расположением Генриха VII и, вполне вероятно, был одним из друзей его старшего сына Артура, принца Уэльского. После женитьбы Артура на испанской инфанте Екатерине Арагонской в 1501 году и отъезда молодых супругов в замок Ладлоу на границе Уэльса, Брэндон был включён в свиту Генриха Тюдора, герцога Йоркского. Несмотря на почти семилетнюю разницу в возрасте, у них было много общего: внешнее сходство, любовь к спортивным состязаниям, охоте, турнирным сражениям. Они оставались лучшими друзьями на протяжении всей своей жизни.
В 1509 году герцог Йоркский взошёл на трон Англии под именем Генриха VIII. Этот момент можно считать началом успешной политической и придворной карьеры Чарльза Брэндона. В том же году он получил должность управляющего королевских владений в северном Уэльсе, а чуть позднее ещё несколько выгодных назначений.
В 1512 году король даровал ему права опеки над семилетней сиротой Элизабет Грей, единственной дочерью и наследницей Джона Грея, виконта Лайла, что было обычной практикой в те времена. Маленькая леди Грей обладала не только богатым состоянием, но и титулом виконтессы Лайл по собственному праву (англ. in her own right), и Брэндон предполагал жениться на своей подопечной, когда она достигнет совершеннолетия. В 1513 году был составлен брачный контракт, а затем объявлено о помолвке. 15 мая этого же года ему был пожалован титул виконта Лайла (англ. Viscount Lisle) в соответствии с условиями контракта. Но вскоре невеста изъявила категорический отказ, и брачный договор был аннулирован.
Во время французской кампании 1513 года, Брэндон принимал участие в осаде Теруана и Турне и зарекомендовал себя храбрым воином. В том же году он был произведён в кавалеры ордена Подвязки, а также присутствовал на переговорах с императором Максимилианом, где речь шла о заключении брака между внуком императора, Карлом, и младшей сестрой Генриха, Марией. Кроме того, виконт Лайл не упустил случая пофлиртовать с дочерью императора, Маргаритой, и вскоре распространились слухи, что они собираются пожениться. Подобную весть сочли неслыханной дерзостью, и, чтобы предотвратить скандал, Генриху пришлось принести публичные извинения императору и принцессе.
Свершившийся инцидент, однако, ничуть не отразился на дружеских отношениях короля и виконта, и, по возвращении в Англию, Брэндон был возведён в достоинство герцога Саффолка. Ранее титул принадлежал дворянскому роду де ла Поль. Наряду с титулом, Брэндон получил земельные владения, конфискованные у де ла Полей. Примечательно также то, что теперь он стал одним из трёх герцогов королевства вместе с Томасом Говардом, 2-м герцогом Норфолком, и Эдуардом Стэффордом, 3-м герцогом Бекингемом. Представители древних дворянских родов были неприятно поражены возвышением «выскочки» незнатного происхождения, а при европейских дворах поговаривали, что истинные короли Англии — Чарльз Брэндон и Томас Уолси.
Родственник короля
В 1514 году Генрих переориентировал внешнеполитический курс на сближение с Францией. Переговоры с Габсбургами относительно окончательного решения по поводу свадьбы Карла и Марии постоянно откладывались, вдобавок к этому, Генрих узнал, что его союзники — Максимилиан и Фердинанд Арагонский — тайно заключили перемирие с Францией. В ответ Генрих расторг помолвку Марии и Карла и в свою очередь поспешил заручиться поддержкой французского короля Людовика XII, предложив скрепить их политический альянс родственными узами и сосватав за него Марию. Несмотря на то, что она на тот момент всерьёз была увлечена Чарльзом Брэндоном, и тот отвечал ей взаимностью, Мария была вынуждена согласиться на этот династический союз.