ಸುಮಾರು 1800 ವರ್ಷಗಳ ಹಿಂದೆ ಚೋಳರ ಆಳ್ವಿಕೆ ಪ್ರಾರಂಭವಾದ ಕಾಲದಲ್ಲಿ ರಾಜನಾಗಿದ್ದ ಕೊಚೆಂಗ ಚೋಳನು ಈ ದೇವಾಲಯವನ್ನು ಕಟ್ಟಿಸಿರಬಹುದು ಎಂದು ಇತಿಹಾಸಕಾರರು ಅಭಿಪ್ರಾಯಪಡುತ್ತಾರೆ. ಇಂದಿಗೂ ಸುಸ್ಥಿತಿಯಲ್ಲಿರುವ ಈ ಪ್ರಾಚೀನ ದೇವಾಲಯವನ್ನು ಆ ಬಳಿಕ ಆಳ್ವಿಕೆಗೆ ಬಂದ ಎಲ್ಲಾ ರಾಜರು ನಿರ್ವಹಣೆಗೆ ಒತ್ತು ಕೊಟ್ಟಿರುವುದು ಈ ದೇವಾಲಯದ ಮಹತ್ವವನ್ನು ಎತ್ತಿ ಹಿಡಿಯುತ್ತದೆ. ಈ ದೇವಾಲಯದ ವಿಸ್ಮಯವೆಂದರೆ ಗರ್ಭಗುಡಿಯ ತಲದಿಂದ ಸ್ಪಟಿಕಶುಭ್ರ ನೀರಿನ ಒರತೆಯಿದೆ. ಈ ನೀರನ್ನು ಎಷ್ಟು ಖಾಲಿ ಮಾಡಿದರೂ ಮತ್ತೆ ತುಂಬಿಕೊಳ್ಳುತ್ತಿದ್ದು ನೀರಿನ ಸೆಲೆ ಎಲ್ಲಿದೆಯೆಂದೇ ಗೊತ್ತಾಗದಿರುವುದು ಸ್ಥಳದ ಮಹಾತ್ಮೆಯನ್ನು ಬಣ್ಣಿಸುತ್ತದೆ. ತಮಿಳುನಾಡಿನ ಐದು ಧಾತುಗಳನ್ನು ಪ್ರತಿನಿಧಿಸುವ ಐದು ಶಿವಾಲಯಗಳಲ್ಲಿ ಜಂಬುಲಿಂಗೇಶ್ವರರ್ ಸಹಾ ಒಂದು. ಈ ದೇವಾಲಯ ಪಂಚಧಾತುಗಳಲ್ಲೊಂದಾದ ನೀರನ್ನು ಪ್ರತಿನಿಧಿಸುತ್ತದೆ.
ಹಿಂದೂ ಪುರಾಣದ ಪ್ರಕಾರ ಯಾವುದೋ ಚಿಕ್ಕ ಕಾರಣಕ್ಕಾಗಿ ಪಾರ್ವತಿಯನ್ನು ಶಪಿಸಿದ ಶಿವ ಈ ಶಾಪವಿಮೋಚನೆಗಾಗಿ ಭೂಮಿಗೆ ತೆರಳಲು ಸೂಚಿಸುತ್ತಾನೆ. ಅಂತೆಯೇ ಭೂಮಿಗೆ ಆಗಮಿಸಿದ ಪಾರ್ವತಿ ಜಂಬೂ ಅರಣ್ಯದಲ್ಲಿ ಅಖಿಲಂದೇಶ್ವರಿಯ ರೂಪದಲ್ಲಿ ವಾಸಿಸಲು ತೊಡಗುತ್ತಾಳೆ. ಅಲ್ಲಿಯೇ ಕಾವೇರಿಯ ನೀರಿನಿಂದ ಶಿವಲಿಂಗವೊಂದನ್ನು ಸೃಷ್ಟಿಸಿ ಪೂಜಿಸಲು ತೊಡಗುತ್ತಾಳೆ. ಕಡೆಗೆ ಶಿವನು ಆಕೆಗೆ ದರ್ಶನ ನೀಡಿ ಶಿವಜ್ಞಾನವನ್ನು ಕರುಣಿಸುತ್ತಾನೆ. ಈ ಉಪದೇಶ ಕರುಣಿಸುವಾಗ ಶಿವನು ಪಶ್ಚಿಮಕ್ಕೂ ಅಖಿಲಂದೇಶ್ವರಿ ಪೂರ್ವಕ್ಕೂ ಮುಖ ಮಾಡಿರುತ್ತಾರೆ. ಈ ಶಿವಲಿಂಗವಿದ್ದಲ್ಲಿಯೇ ಈ ದೇವಾಲಯವನ್ನು ನಿರ್ಮಿಸಲಾಗಿದೆ ಎಂದು ಪುರಾಣದಲ್ಲಿ ಹೇಳಲಾಗಿದೆ. ನೀರಿನಿಂದ ಸೃಷ್ಟಿಸಲಾದ ಈ ಶಿವಲಿಂಗಕ್ಕೆ ಅಪ್ಪು ಲಿಂಗಂ ಎಂದೂ ಕರೆಯುತ್ತಾರೆ.
ಇನ್ನೊಂದು ವಿಶೇಷವೆಂದರೆ ಅಖಿಲಂದೇಶ್ವರಿ ಈ ದೇವಾಲಯದಲ್ಲಿ ಶಿವನನ್ನು ಪೂಜಿಸಿದ ಕಾರಣವಾಗಿ ಇಂದಿಗೂ ಅರ್ಚಕರು ಹೆಣ್ಣಿನ ಉಡುಪುಗಳನ್ನು ಧರಿಸಿ ಪೂಜೆ ಸಲ್ಲಿಸುತ್ತಾರೆ. ಜೊತೆಗೆ ಕಪ್ಪುಬಣ್ಣದ ಹಸುವಿಗೂ (ಗೋಮಾತೆ) ಪೂಜೆ ಸಲ್ಲಿಸಲಾಗುತ್ತದೆ. ತಮಿಳಿನಲ್ಲಿ ಈ ಹಸುವನ್ನು ಕರಂಪಶು ಎಂದು ಕರೆಯುತ್ತಾರೆ. ಪ್ರತಿದಿನ ಶಿವಲಿಂಗಕ್ಕೆ ಅನ್ನಾಭಿಷೇಕ ನಡೆಸಲಾಗುತ್ತದೆ. ಭಾರತೀಯ ನೃತ್ಯವೈಭವದ ವಾರ್ಷಿಕ "ನಾಟ್ಯಾಂಜಲಿ" ಕಾರ್ಯಕ್ರಮವೂ ಇದೇ ದೇವಾಲಯದ ಆವರಣದಲ್ಲಿ ನಡೆಸಲಾಗುತ್ತದೆ. ಅಲ್ಲದೇ ತಮಿಳುನಾಡಿನ ವಿಶಿಷ್ಟ 'ನಾದಸ್ವರ' ನುಡಿಸುವ ಬಗ್ಗೆ ತರಬೇತಿಯನ್ನೂ ಈ ದೇವಾಲಯದಲ್ಲಿ ನೀಡಲಾಗುತ್ತದೆ.