ಭಾರತದ ಪ್ರಾಚೀನ ಮಂದಿರಗಳಲ್ಲಿ ಪಾತಾಳಪುರಿ ಮಂದಿರವೂ ಒಂದು. ಇದರ ಇತಿಹಾಸ ವೇದಕಾಲದಿಂದಲೂ ಇದೆ. ಸುಂದರವಾದ ಕೆತ್ತನೆಯನ್ನು ಹೊಂದಿರುವ ಈ ಮಂದಿರ ಪಾತಾಳದಲ್ಲಿದೆ. ಇದು ಕೋಟೆಯ ಒಳಭಾಗದಲ್ಲಿ ಇದ್ದು, ಅಜರಾಮರವಾಗಿರುವ ಅಕ್ಷಯ್ ವಟ್ ಆಲದ ಮರದ ಸಮೀಪದಲ್ಲಿ ಇದೆ. ಇಲ್ಲಿ ಕೂಡ ಎಲ್ಲ ದ್ವಾರಗಳಿಂದ ಪ್ರವೇಶ ನಿಷೇಧಿಸಲಾಗಿದೆ. ಆದರೆ ಪೂರ್ವ ದಿಕ್ಕಿನ ದ್ವಾರದಿಂದ ಪ್ರವೇಶ ಮಾಡಬಹುದು.

ಈ ಬಾಲಿಗಿನಿಂದ 16ನೇ ಶತಮಾನದ ಭೂಗತದಲ್ಲಿರುವ ಸುಂದರವಾದ ಮಂದಿರಕ್ಕೆ ಹೋಗಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ. ಇಲ್ಲಿ ಭಗವಾನ್ ವಿಷ್ಣು ಸೇರಿದಂತೆ ಇನ್ನೂ ಅನೇಕ ದೇವತೆಗಳ ಮೂರ್ತಿಗಳು ಇವೆ. ಇದು ಪವಿತ್ರವಾದ ಸಂಗಮದ ಹತ್ತಿರವೇ ಉಪಸ್ಥಿತವಿದೆ.

ಹಿಂದೂ ಪುರಾಣಗಳ ಪ್ರಕಾರ, ಶ್ರೀರಾಮನು ಈ ಸ್ಥಳಕ್ಕೆ ಭೇಟಿ ಕೊಟ್ಟಿದ್ದನಂತೆ. ಚೈನೀಸ್ ಯಾತ್ರಾರ್ಥಿಯಾದ ಹ್ಯೂಯೆನ್ ತ್ಸಾಂಗ್ ಕೂಡ ಈ ಸ್ಥಳದ ಬಗ್ಗೆ ತಾನು ಬರೆದ ಪುಸ್ತಕದಲ್ಲಿ ಉಲ್ಲೇಖ ಮಾಡಿದ್ದಾನೆ. ಇವನು ರಾಜ ಹರ್ಷನ ಕಾಲದಲ್ಲಿ 5ನೇ ಶತಮಾನದಲ್ಲಿ ಇಲ್ಲಿಗೆ ಭೇಟಿ ನೀಡಿದ್ದ.