சிவபெருமானுக்கு ஐந்தெழுத்து மந்திரத்தால் ஏற்பட்ட பெயர் 'பஞ்சாட்சரம்'. பஞ்சாட்சர மந்திரமான நமசிவாயத்தை சிவனே ஓதுவதால் காசியை விட புனிதமானதாக விருத்தாசலம் போற்றப்படுகிறது. 'விருத்தாசலம்' என்பதற்கு 'பழமையான மலை' என்பது பொருள். பூலோகத்தில் இம்மலையே பழமையானது என தலபுராணம் கூறுகிறது. இக்கோயிலுக்கும் ஐந்திற்கும் நெருங்கிய தொடர்புண்டு.

திசைக்கொரு கோபுரமாக நான்கு ராஜகோபுரங்களும், கோயிலுக்குள்ளே ஒரு கோபுரமாக ஐந்து கோபுரங்கள் உள்ளன. கோயிலில் ஐந்து கொடிமரங்கள் உள்ளன. பிரம்மோற்ஸவத்தின் போது ஐந்து கொடிமரத்திலும் கொடி ஏற்றப்படும்.

வலப்புறம் தலை சாய்த்தபடியே ஐந்து நந்திகள் இங்குள்ளன. மணிமுத்தாறு, அக்னி, சக்கர, குபேர, நித்தியானந்த கூபம் என்னும் தீர்த்தங்கள் இங்குண்டு. விபசித்து, உரோமசர், குமாரதேவர், நாதசர்மா, அவைர்த்தணி என்னும் ஐந்து ரிஷிகள் விருத்தகிரீஸ்வரரை வழிபட்டு முக்தி பெற்றனர்.