Того родился в квартале Кадзия-тё города Кагосима провинции Сацума (в настоящее время префектура Кагосима) и носил имя Накагоро (???), которое в 13-летнем возрасте сменил на Хэйхатиро. В 1867 году род Симадзу, правители Сацумы, создали собственный флот, куда и поступил Того вместе с двумя братьями. В 1869 году на борту боевого корабля «Касуга» он участвовал в сражениях гражданской войны Босин во время заката Токугавского сёгуната.
В 1871 году Того поступил в морское училище в Токио, а в феврале 1872 года вместе с одиннадцатью другими кадетами был направлен для обучения в Великобританию, где провёл 7 лет. За это время он совершил кругосветное путешествие на корабле «Хэмпшир», изучал математику в Кембридже, получил военно-морское образование в Королевской военно-морской академии в Портсмуте и Королевском морском колледже в Гринвиче. Наблюдал за постройкой первого японского броненосного корабля «Фусо». В 1879 году на корабле береговой обороны «Хиэй», также построенном в Великобритании, вернулся в Японию.
В 1880 году Того получил чин капитан-лейтенанта, в 1882 стал старшим офицером канонерской лодки «Амаги», а через 3 года — командиром этого корабля. В 1887 был произведён в капитаны 1-го ранга; некоторое время был начальником военно-морской базы в Курэ. В японо-китайской войне 1894 года Того командовал крейсером «Нанива», сделавшим 24 июля 1894 года первый выстрел в этой войне (по китайскому крейсеру «Цзиюань»). 25 июля «Нанива» потопил британский пароход «Коушинг», зафрахтованный китайским правительством для перевозки войск в Корею. 17 сентября 1894 года крейсер отличился в бою с китайским флотом у реки Ялу.
В 1896 году Того стал начальником Высшей военно-морской школы в Сасебо, а в 1898 — получил чин вице-адмирала. В 1900 году во время боксёрского восстания в Китае командовал японской экспедиционной эскадрой, затем стал начальником военно-морской базы в Майдзуру.
В 1903 году Того был назначен командующим Объединённым флотом Японии, которым бессменно командовал всё время русско-японской войны. Под его командованием японский флот добился полного господства на море, надёжно блокировав с моря Порт-Артур и не допустив прорыва главных сил 1-ой Тихоокеанской эскадры во Владивосток и их соединение с Владивостокским отрядом крейсеров. 27 мая 1905 года в Цусимском сражении японский флот наголову разгромил 2-ю и 3-ю Тихоокеанские эскадры.
После Цусимы Того был удостоен всех высших наград Японии и стал начальником Главного морского штаба. В 1913 году был удостоен почётного титула Адмирал флота. Во время Первой мировой войны Того уже не занимал никаких официальных постов, но участвовал в принятии большинства важных решений, связанных с флотом. С 1914 по 1924 год он был одним из воспитателей наследника престола принца Хирохито — будущего императора Японии. После окончания Первой мировой войны Того вышел в отставку и отошёл от дел.
Сын и внук адмирала Того также служили в Императорском Японском флоте; внук погиб в сражении у Лейте на борту крейсера «Мая».
