பவானி சங்கமேஸ்வரர் கோவிலில் உள்ள வேதநாயகி அம்மன் சன்னிதிக்கு எதிரில் உள்ள சுவரில் மூன்று துவாரங்கள் உள்ளன. இதற்கு பின்னணியில் சுவையான வரலாறு உள்ளது. 1802ல் சேலம், கோவை மாவட்டங்களுக்கு பவானியே தலைமையிடமாக இருந்தது. அப்போது கலெக்டராக இருந்த வில்லியம்கரோ என்பவர், வேதநாயகி அம்மனின் சிறப்பை அறிந்து தரிசிக்க விரும்பினார். ஆனால், வேற்று மதத்தினர் என்பதால் அவரை கோவிலுக்குள் அனுமதிக்கவில்லை. இதனால் அம்மனின் சன்னிதி எதிரில் மூன்று துவாரங்கள் போடப்பட்டது. சன்னிதி எதிரில் வசித்து வந்த கலெக்டர், அந்த துவாரங்களின் வழியே பார்த்து தினமும் அம்மனை வழிபட்டு வந்தார். ஒருநாள் இரவு அவர் வீட்டில் தூங்கிக் கொண்டிருந்த போது வேதநாயகியை போலவே தோற்றம் கொண்ட பெண் ஒருத்தி அவரை எழுப்பி, வீட்டை விட்டு வெளியே உடனே செல்லுமாறு கூறினார். அவரும் அந்த பெண்ணின் வார்த்தைக்கு கட்டுப்பட்டு வெளியேறினார். அன்றிரவில் வீட்டின் மேற்கூரை இடிந்து கீழே விழுந்தது. அம்மன் அருளால் உயிர் மீண்ட கலெக்டர், தங்கத்தால் கட்டில் ஒன்றைச் செய்து 1804 ஜனவரி 1ல் கோவிலுக்கு காணிக்கையாக வழங்கினார்.