Сын сенатора Берча Эвана Бая, представлявшего штат Индиана в Сенате США в 1963—1981.
Окончил Индианский университет в Блумингтоне (1978), получил степень в области права в Университете Вирджинии (1981). Занимался юридической практикой в Индианаполисе. С 1986 — секретарь штата Индиана, в 1989—1997 — губернатор штата Индиана. В 1997—1998 — партнёр юридической компании Baker & Daniels. В 1998 был избран в Сенат США от Демократической партии. В 2004 — переизбран.
Бай был одним из тех сенаторов, кто поддерживал идею свержения Саддама Хусейна в Ираке. В частности, в августе 2002 он опубликовал статью, где защищал свои взгляды по этому вопросу. Соответственно он не только поддержал резолюцию H.J.Res. 114, которая позволяла использовать вооруженные силы США против Ирака, но и представлял её ранее в Сенате, за что удостоился похвалы президента США Буша и сенатора Маккейна.
