Ганганараяна Чакраварти принадлежал к известному роду брахманов. Принятие им духовного посвящения от Нароттамы Дасы вызвало возмущение смарта-брахманов. Они пожаловались на него бенгальскому правителю Нарасимхе, объявив, что «дерзкий шудра» нагло принял в ученики брахмана. Нарасимха, вместе с известным пандитом по имени Рупа Нараяна и смарта-брахманами отправились бросить вызов Нароттаме Дасу и сокрушить его в философском диспуте.
Ганганараяна Чакраварти и его духовный брат Рамачандра Кавираджа возмутились, узнав о назревавшей атаке на их духовного учителя. Переодевшись в торговца орехами бетеля и в горшечника, они, с разрешения лавочников, заняли их магазины на некоторое время. Прибыв в деревню, смарта-брахманы послали своих учеников купить орехов бетеля и глиняные горшки для приготовления пищи. Горшечник (Рамачандра Кавираджа) и торговец орехами (Ганганараяна) вдруг заговорили с ними на чистейшем санскрите, что привлекло всеобщее внимание. Вскоре в диспут вступили прибывшие на место происшествия смарты и пандит Рупа Нараяна. Когда мнимые торговцы с лёгкостью одержали вверх в диспуте и быстро заставили замолчать своих противников, наблюдавший за происходящим Нарасимха догадался, что должно быть эти два торговца были учениками Нароттамы Дасы. Тогда он сказал пандитам, что если они были не в состоянии справиться даже с простыми учениками Нароттамы, то как же они собирались победить самого Нароттаму? Униженные пандиты были вынуждены отправится домой. Той же ночью во сне к Нарасимхе и пандиту Рупе Нараяне явилась богиня Дурга и повелела им стать учениками Нароттамы Дасы, пообещав в противном случае снести им головы. На следующий день они предались Нароттаме Дасе и приняли от него духовное посвящение.
Самадхи Ганганараяны Чакраварти находится рядом с самадхи Нароттамы Дасы во дворе храма Радхи-Гокулананданы в Радха-кунде.
