பதினேழாம் நூற்றாண்டில் புதுச்சேரியைப் பிரெஞ்சுக்காரர்கள் ஆட்சி செய்த போது, மணற்குளம் பகுதியில் இருந்த ஒரு விநாயகர் சிலையைக் கடலில் போடும்படி உத்தரவிட்டனர். சிலையும் கடலில் போடப்பட்டது. ஆனால், சிலநாட்களில் மீண்டும் அச்சிலை கடற்கரைக்கே அடித்து வரப்பட்டது. 'அதிசயம் நிகழ்த்திய அற்புத கணபதி' என்று மக்கள் கோயில் அமைத்து வணங்கத் தொடங்கினர். பிரெஞ்சுக்காரர்களும் இங்கு வந்து வழிபட்டதால் 'வெள்ளைக்காரப் பிள்ளையார்' என்ற பெயர் உண்டானது. மணற்குளம் என்பது காலப்போக்கில் 'மணக்குளம்' என்றானது. பாரதியார் பாடிய விநாயகர் நான்மணிமாலையில் இவர் இடம்பெற்றுள்ளார். அதில், 'சமர்த்தெனக்கருள்வாய் மணக்குளவிநாயகா' என்று வேண்டுகிறார்.