Астор происходил из американской семьи Асторов и был потомком Джона Джейкоба Астора. В 1889 году он вместе с семьёй переехал в Великобританию и стал её гражданином. Во время учёбы в Итонской школе он занимался крикетом. Также он принял участие в соревнованиях по рэкетсу на летних Олимпийских играх 1908 в Лондоне и стал чемпионом в парном разряде и бронзовым призёров в одиночном.
После короткой учёбы в Оксфордском университете Астор занялся военной службой. Он входил в охрану генерал-губернатора Индии Чарльза Хардинджа и позже женился на его дочери. В Первой мировой войне он потерял правую ногу в сентябре 1918 года. В 1922 году он стал владельцем газеты «The Times» и членом Парламента от Дувра. В 1956 году Астору было присвоена звание барона, но через шесть лет он переехал во Францию, где прожил до конца жизни.
