В детстве музыкант-самоучка, затем учился в своём родном городе у Фридриха Марпурга и Луиса Элерта. В 1856 году отправился в Россию учителем музыки, затем работал капельмейстером в Позенской опере. В 1858—1859 гг. учился в Копенгагене у Нильса Гаде, после чего вернулся в Кёнигсберг. В 1866—1868 гг. преподавал в Берлине в Школе высшего пианистического мастерства Карла Таузига. Затем работал в Дрездене, Граце и Баден-Бадене. В последние годы жизни был дружен с Иоганнесом Брамсом и, как и последний, считался продолжателем традиции Роберта Шумана.
Композиторское наследие Йенсена включает, в основном, фортепианные сочинения (сонату, множество этюдов, пьесы для фортепиано в четыре руки) и песни, в общей сложности 176.
