জন্মের সময় তাঁর নাম রাখা হয় কেদারনাথ । ১৮৯৩-এর ৯ এপ্রিল তৎকালীন যুক্ত প্রদেশের আজমগড়ের পান্ধা গ্রামে মামাবাড়িতে জন্ম হয় কেদারনাথ । কানিলা চকরপানুর গ্রামের শাক্ত ব্রাহ্মণ গোবর্ধন ছিলেন তাঁর বাবা। কেদারনাথের যখন ১১ বছর বয়স, তখন নিকটবর্তী গ্রামের পাঁচ বছরের মেয়ে সন্তোষীর সঙ্গে তাঁর বিয়ে হয়। বিয়ে, না পুতুল খেলা! প্রাথমিক স্কুলের ছাত্র কেদারনাথ নিজেই জানতেন না, সন্তোষীর তো কথাই নেই। একদিনও ঘর করেননি বউয়ের সঙ্গে, তবু সেই বিয়েই তাঁকে ১০ বছর বয়সে ঘরছাড়া করল। পালিয়ে চলে এলেন নালন্দায়। পালি ভাষা থেকে অনেকগুলো বৌদ্ধ শাস্ত্রগ্রন্থের অনুবাদ করেছেন রাহুল, যার মধ্যে বসুবন্ধু রচিত ‘অভিধর্ম কোষ’, ‘খুদ্দক পাঠ’, ‘গুনপ্রভ রচিত ‘বিনয় সূত্র’, ‘মহাপরিনির্বানসূত্র’ অন্যতম। পালি ভাষা তিনি পড়তে পারতেন জলের মতো। প্রাথমিক বিদ্যালয়ে শিখেছিলেন উর্দু ও সংস্কৃত। প্রথাগত শিক্ষাজীবনের সেখানেই ইতি টানলেও নিজের উদ্যোগে পালি ছাড়াও শিখেছেন হিন্দি, বাংলা, আরবি, ফারসি, ইংরেজি, তিব্বতি, রুশ, সিংহলি ভাষা।