Окончил Национальную школу искусств им. М. К. Чюрлёниса, затем Ленинградскую консерваторию (1983) и аспирантуру Московской консерватории (1986). Ринкявичус стал лауреатом на Пятом Всесоюзном конкурсе дирижёров в Москве (1983) и на Международном конкурсе фонда Герберта фон Караяна в Берлине (1985), в 1986 г. получил специальный приз на Международном конкурсе памяти Яноша Ференчика в Будапеште.
В 1988 г. Ринкявичус возглавил Литовский государственный симфонический оркестр и является его бессменным руководителем. Одновременно он руководил Латвийской национальной оперой (1996—2003), удостоился в 1996 и 2000 гг. главной музыкальной премии Латвии, а в 1997 г. был признан в Латвии дирижёром года. В 2002—2005 гг. он руководил оркестром оперного театра Мальмё, а в 2007 г. встал во главе Новосибирского академического симфонического оркестра.
Помимо Новосибирска, Ринкявичус часто выступает в России с различными коллективами. Он дирижировал балетом Сергея Прокофьева «Ромео и Джульетта», операми Чайковского «Пиковая дама», Пуччини «Богема» и "Турандот", Верди "Набукко" в Большом театре, «Реквиемом» Верди в «Новой опере», в 1996 г. принял участие в московских юбилейных концертах к 50-летию Виктора Третьякова, получив восторженный отзыв рецензента:
