Ранние годы
Андерсон родился в Хайхиллз-оф-Сэнти в Борохаус, возле города Стэйтберг, в округе Самтер, штат Южная Каролина.
Он был сыном доктора Вильяма Уоллеса Андерсона и его жены Мэри Джейн Макенси. Он приходился внуком герою американской революции Ричарду Андерсону, в честь которого и был назван.
В июле 1842 он окончил Вест-Пойнт 40-м из 56-ти кадетов и был временно назначен младшим лейтенантом в 1-й драгунский полк.
Для практики в 1842 он служил в кавалерийской школе в Карлисле, штат Пеннсильвания, затем служил на Западе, сперва в Литл-Рок (Арканзас), затем на гарнизонной службе в форте Гибсон и Вашита на индейской территории.
16 июля 1844 Андерсон был повышен до младшего лейтенанта и с 1844 по 1845 служил в форте Джесуп, в Луизиане. Затем его полк участвовал в экспедиции по военной оккупации Техаса (1845).
Во врем мексиканской войны, в марте 1847, Андерсон участвовал в осаде Веракруса и в сражении при Контерас 19 августа. 8 сентября участвовал в бою при Молино-дел-Рей. За храбрость в бою около Сан-Агустина он получил временное повышение до лейтенанта(17 августа). Позже, 12-14 сентября, он участвовал в сражении за Мехико-сити. После Мехико, 13 июля 1848, Андерсон был повышен до лейтенанта 2-го драгунского полка. Он вернулся в Карлисл на 1849—1850, затем снова был призван на службу до 1852 года.
Затем служил в некоторых техасских укреплениях, в том числе в форте Грэхам в 1852, форте Маккаветт с 1853—1854, в Сан-Антонио в 1854 и снова в форте Маккаветт в 1855.
3 марта 1855 он был повышен до капитана и с 1855 до 1856 служил в форте Рилей в Канзасе. Он служил в Канзасе во время так называемых «пограничных проблем» в 1856 и 1857.
Участвовал в Ютской войне 1858 и 1859 и служил в форте Кэрни с 1859 по 1861 год.
Гражданская война
После сецессии Андерсон решил служить своему штату и делу Конфедерации, поэтому 3 марта 1861 года уволился из рядов армии США и поступил на службу в армию Конфедерации. Он был назначен полковником 1-го южнокаролинского пехотного полка. Командовал районом Чарльстонской гавани после взятия форта Самтер в апреле. 19 июля был повышен до бригадного генерала и переведен в Пенсаколу (Флорида), где был ранен 9 октября в сражении у острова Санта-Роса.
В феврале 1862, после выздоровления, Андерсон вступил в Потомакскую армию, позже превращенную в Северовирджинскую армию, в качестве командира бригады. Он хорошо проявил себя в сражении при Вильямсбурге в мае, в Битве в Семи Соснах и в Семидневной битве. Во время сражения при Глэндейле он временно принял командование дивизией генерала Джеймса Лонгстрита. За выдающиеся заслуги в сражениях на Полуострове он 14 июля 1862 был повышен до генерал-майора и получил в командование 2-ю дивизию 1-го корпуса генерала Лонгстрита.
Во втором сражении при Бул-Ране в августе 1862, Андерсон предпринял атаку, которая опрокинула федеральные войска и обратила их в бегство.
В сражении при Энтитеме в сентябре 1862 года он оказался в центре обороны армии Конфедерации. Когда северяне оттеснили дивизию Дэниэля Хилла с позиций у «Санкен-роуд», именно дивизия Андерсона смогла остановить их наступление. Генерал был ранен в бедро и покинул поле боя, сдав командование Роджеру Приору. После его ухода дивизия попала под фланговый удар и отступила с позиций. В декабре, в сражении при Фредериксберге, его дивизия задействована не была.
В сражении при Чанселорсвилле в мае 1863 его дивизия действовала отдельно от корпуса Лонгстрита, который был отправлен в район Суффолка. Когда Джексон атаковал правый фланг армии Хукера, Андерсон поддерживал его атаками на левый фланг. 3 мая, когда 6-й федеральный корпус генерала Седжвика вышел в тыл Северовирджинской армии, дивизии Андерсона и Мак-Лоуза были переброшены, чтобы остановить его.
После гибели Джексона (10 мая) Ли реорганизовал армию, создав новый корпус. Андерсон вполне подходил на роль командира корпуса, и все же новым командиром был назначен Эмброуз Хилл.
