Представитель довольно известного рода Рутилиев, Руф получил хорошее образование у философа Панетия Родосского. Начал свою карьеру в армии — участвовал в кампаниях в Испании (осада Нуманции под руководством Сципиона Эмилиана) и в Югуртинской войне. В 111 году до н. э. был претором. Цицерон упоминает, что Рутилий в первый раз выставил свою кандидатуру в консулы, но потерпел поражение, после чего обвинил своего победившего соперника к суду по обвинению в подкупе, а затем и сам был привлечён к суду Марком Эмилием Скавром.
Руф был избран консулом на 105 год до н. э. вместе с Гнеем Маллием Максимом. На консульство Руфа пришлась битва при Араузионе, которую из-за несогласованности действий проиграли Гней Маллий Максим и Квинт Сервилий Цепион, и Руфу пришлось принять меры для нейтрализации последствий битвы. Позже Руф сотрудничал с Гаем Марием.
Около 95 года до н. э. Руф был легатом в провинции Азия, где противодействовал грабительской политике всадников-откупщиков. Вскоре после возвращения Руф был привлечён к суду всадниками за злоупотребление служебным положением. Этот процесс имел большой резонанс; на нём помощь Руфу предлагали виднейшие ораторы своего времени Луций Лициний Красс и Марк Антоний, однако Руф предпочёл защищать себя самостоятельно. Руф был осуждён на изгнание, и остаток жизни провёл в Смирне, где его застал Цицерон. Позднее Руф получил гражданство Смирны и отказался от возвращения в Рим, что можно было расценить как святотатство.
Руф был также достаточно известен как оратор: Цицерон в Бруте уделяет ему отдельное описание достоинств и недостатков стиля его речи. В частности, Цицерон упоминает, что принимавший участие во многих судебных процессах Руф не достиг высшей ораторской славы и отличался прежде всего трудолюбием, но не талантом. Речь Руфа, по Цицерону, была строгой, сухой и суровой, так что Цицерон относит Руфа к категории ораторов-стоиков, подчёркивая, что стиль Руфа был слишком скуден для политических речей и завоевания одобрения народа. Кроме того, Руф давал советы по ведению судебных дел.
