Сын деревенского плотника, в начале XX века перебравшегося в Петербург. В 1905 поступил служить рассыльным во 2-е Страховое общество, через девять лет дослужился до должности управляющего округом. В 1909—1910, в свободное от службы время, вольнослушателем посещал историко-филологический факультет Петербургского университета, самостоятельно выучил немецкий, французский, итальянский, древнегреческий, латынь, много читал из русской, западной и восточной философии.
Стихи сочиняет с девяти лет, сразу по приезде в столицу безуспешно пытается публиковаться, однако настоящая литературная жизнь Скалдина начинается с 1909, когда он сводит знакомство с Вяч. Ивановым, благодаря которому сразу определяется как символист, начинает публиковать стихи в журналах «Аполлон», «Gaudeamus», «Сатирикон», «Отечество», альманахах «Орлы над пропастью», «Альманах Муз», «Война в русской поэзии» (1910—1915). В 1912 выпускает единственный прижизненный сборник стихов — «Стихотворения». Стихи, наряду с прозой, Скалдин продолжает писать до конца жизни. Поздние стихи погибли вместе со всем архивом писателя.
С 1910 участвует в заседаниях Петербургского религиозно-философского общества, для которого подготовил доклад «Идея нации» (опубл. 1998), публикует программную статью-рецензию «Затемнённый лик» (1913) — полемику с книгой В. Розанова «Метафизика христианства».
В сентябре 1917, за месяц до Октябрьской революции, опубликовано главное произведение Скалдина — мистико-авантюрный роман «Странствия и приключения Никодима Старшего», в котором отразились эзотерические искания самого автора. Из-за политических событий той осени появление романа прошло практически незамеченным. По-настоящему роман был оценён только много лет спустя: отмечалось его влияние на «Мастера и Маргариту» М. Булгакова, смелое новаторство Скалдина — абсурдистские принципы романа, отсутствие мотиваций, что в Европе вошло в литературный обиход гораздо позже. Замысленный как трилогия, роман так и остался незаконченным: продолжение и финал трилогии, судя по всему, утрачены.
Февральскую революцию Скалдин встретил восторженно, деятельно занялся культурным строительством в качестве секретаря литературного отдела вновь образованного (в марте 1917) Союза деятелей искусств. После Октября значительная часть Союза оказалась в оппозиции к новой власти, и Скалдину пришлось бежать из Петрограда. С 1918 он живёт в Саратове, печатает в журнале «Художественные известия» искусствоведческие статьи. С марта 1919 — в должности заведующего литературной секцией Саратовского изотдела искусств, затем — заведующий Художественным отделом Педагогического музея, с сентября 1920 — заведующий Губернской музейной секцией и охраной памятников, затем Отделом культов при историческом музее, с декабря 1921 — заведует Радищевским музеем. В 1922 начинает курировать все театры и зрелищные заведения города, выступает с популярными лекциями и докладами, преподаёт в педагогическом институте и в Высших театральных мастерских (курс «Философия человеческого действования»). В том же году начинается травля Скалдина, его арестовывают и приговаривают к трём годам заключения по ложному обвинению в сокрытии музейных ценностей. В результате вмешательства А. Луначарского Скалдин был досрочно освобождён и вскоре уехал в Петроград, где долго оставался без работы. С 1924 работает в Государственном музейном фонде, в Институте истории искусств, с расцветом НЭПа начинает успешно заниматься книготорговлей, разъезжает по России. В 1927 возвращается в Ленинград, служит в Госиздате в качестве редактора и библиотекаря.
В январе 1933 последовал второй арест и ссылка в Казахстан, обернувшиеся для Скалдина тяжёлой изоляцией, из которой он уже не выбрался. По окончании ссылки остался жить в Алма-Ате. 28 июня 1941 последовал третий арест. Скалдин был обвинён «в клевете на граждан» и в контрреволюционной деятельности, приговорён к восьми годам лагерей. Точная дата смерти писателя неизвестна: в двух официальных ответах на запросы, посланные в МВД Казахстана и МВД Российской Федерации, стоят разные даты — 18 июля и 28 августа 1943. Не исключено, что сразу после вынесения приговора 12 октября 1941 Скалдин был расстрелян . По другим данным, умер 23 августа 1943 в Карлаге от инфаркта .
Трудно назвать другого писателя, сложившегося в годы Серебряного века, к наследию которого судьба оказалась в такой степени беспощадной . Обширное литературное наследие Скалдина, за малыми исключениями, утрачено. Погибло восемь романов, над которыми Скалдин работал в ссылке, три повести, дневники, конспекты лекций, статьи по изобразительному искусству, переписка со многими деятелями искусства Серебряного века.
Уцелевшее наследие Скалдина практически полностью опубликовано только в 2004 году .
