Роберт де Брюс был сыном нормандского дворянина Роберта де Брюса, прибывшего в Англию вместе с Вильгельмом Завоевателем. За участие в походах Генриха I, короля Англии, Роберт получил крупные земельные владения в Йоркшире. Во время военных экспедиций Роберт сблизился с наследным принцем Шотландии Давидом. После того, как Давид унаследовал шотландский престол, он в 1124 г. передал в лён Роберту де Брюсу долину реки Аннан в юго-западной Шотландии. Таким образом Роберт стал 1-м лордом Аннандейла. Будучи владельцем земель и в Англии, и в Шотландии, де Брюс стремился к нормализации англо-шотландских отношений и пытался убедить короля Давида I отказаться от поддержки императрицы Матильды, претендентки на английский престол. Но усилия Роберта не увенчались успехом, Давид I предпринял в 1138 г. вторжение в Англию и потерпел поражение в битве Штандартов.
После смерти Роберта де Брюса его владения были разделены между сыновьями Адамом, получившим земли в Англии, и Робертом, ставшим 2-м лордом Аннандейла. Потомок Роберта — Роберт Брюс, граф Каррикский, стал королём Шотландии в 1306 г.
