Сын Василия Пассека и брат генерала Диомида Пассека, родился в Тобольске, где жил в это время в ссылке его отец. Вернуться из ссылки отцу с семьей разрешили в 1824 г.
Вадим Пассек принадлежал к кругу русской молодежи 30-х гг. XIX в., о которой Герцен писал: «Такого круга людей талантливых, развитых, многосторонних и чистых я не встречал потом нигде…» («Былое и думы», ч. 4, гл. XXIX). Во время холеры 1831 года, в скованной страхом Москве, был в числе самоотверженных юношей, студентов Московского университета, предложивших себя в распоряжение холерного комитета и деятельно участвовавших в работе больниц; с некоторыми медиками делал на себе опыты прилипчивости холеры, благополучный исход которых помог смелее относиться к болезни и привлек больше добровольцев.
Статья Вадима «Странное желание» позволяет предположить, что интерес его к истории и жизни народной проистекал от потребности «жизни всевременной и вездеприсутствующей»: путешествуя и изучая прошлое и настоящее славянских народов непосредственно в их среде, Вадим удовлетворял отчасти свое желание «в одно время быть среди всех племен и всех народов, пережить вместе с ними всю грусть и все радости земной жизни»; такое живое, непосредственное и сочувственное изучение народов, по мнению Вадима, вело к истинному пониманию их жизни («Из дальних лет», т. 2, гл. 34).
Вернувшись в Москву в 1840 г., Вадим сблизился с кругом Александра Фомича Вельтмана, имевшим славянофильское направление. По понедельникам в доме Вадима и его жены, кузины Герцена Татьяны Петровны Пассек (урожденной Кучиной), проходили вечера, беседы на которых, по словам Татьяны Пассек, «касались большей частью литературы, умственного движения, общественных новостей и политики». С тех пор, как Вадиму отказали в университетской кафедре из-за знакомства с попавшим под арест (по политическим причинам) кружком Герцена, карьера его не подвигалась, и семья жила бедно, но мирно и счастливо. Рассказывая о «понедельниках», жена Пассека говорит:
Умер Вадим на 34 году жизни вскоре после смерти трехлетней дочери, потерю которой тяжело переживал.
