Окончил техническую школу в Праге, работал помощником машиниста. Позднее получил образование на юридическом факультете Карлового университета. Включился в активную политическую деятельность сразу после «бархатной революции», вступил в ЧСДП. В 1992 году был избран в парламент Чехии, в 2000 году был назначен министром внутренних дел в правительстве Милоша Земана.
В 2004 году ушедший в отставку из-за неудачного выступления партии на выборах в Европарламент Владимир Шпидла передал свой пост Гроссу, который в момент своего назначения был одним из самых популярных политиков в Чехии. Однако очень скоро Гросс был вынужден уйти в отставку по причине падения его личного рейтинга; в частности, ему инкриминировалась покупка дорогой квартиры в Праге за деньги неясного происхождения.
