Учился в Мюнхенской музыкальной академии. В 1936 г. дебютировал в Крефельде в партии Хундинга в «Валькирии». В 1938-42 гг. выступал в Дюссельдорфе. В 1941-48 гг. — член ансамбля Берлинской государственной оперы, в 1948 году перешёл в Берлинскую городскую оперу (впоследствии — Немецкая опера), где выступал до 1970 года. С 1956 года входил также в ансамбль Венской государственной оперы. Гастролировал в Милане, Буэнос-Айресе, Нью-Йорке и т. д. С 1961 года преподавал в Высшей музыкальной школе г. Саарбрюккена. С 1974 г. — профессор Высшей музыкальной школы Вены.
В 1943 году он впервые появился на Байройтском фестивале и очень много выступал там после Второй мировой войны, исполняя партии Хундинга, Хагена, Фазольта и Фафнера в «Кольце Нибелунга», Погнера и Закса в «Нюрнбергских мейстерзингерах», Ландграфа в «Тангейзере», Даланда в «Летучем голландце», Гурнеманца и Титуреля в «Парсифале», короля Генриха в «Лоэнгрине», короля Марка в «Тристане и Изольде». На Зальцбургском фестивале Грайндль исполнял партии Зарастро в «Волшебной флейте», Рокко в «Фиделио», Командора в «Дон Жуане». Грайндль принимал участие в премьерах опер современных композиторов, также выступал в концертах.
Благодаря чувству стиля, чёткости дикции и выразительности пения Йозеф Грайндль добился большого успеха как в серьёзных, так и в комических партиях.
