ಕಾಕರಮಠ ದೇವಾಲಯವು ಮದನ ಸಾಗರ ಸರೋವರದಲ್ಲಿನ ದ್ವೀಪದಲ್ಲಿದೆ. ಇಲ್ಲಿಗೆ ಸಮೀಪದಲ್ಲಿ ವಿಷ್ಣು ದೇವಾಲಯ ಕೂಡ ಇದೆ. ಹಿಂದೂ ಧರ್ಮದಲ್ಲಿ ನಂಬಿಕೆಯಿರುವ ನಾಥ ಪಂಥದವರ ದೇವಾಲಯವಿದು. ಈ ನಂಬಿಕೆಯನ್ನು ಹುಟ್ಟುಹಾಕಿದ್ದು ಬಾಬಾ ಗೋರಖನಾಥ. ಈತ ತನ್ನ ಅನುಯಾಯಿಗಳೊಂದಿಗೆ ಗೊಕ್ಹಾರ ಪರ್ವತದಲ್ಲಿ ಆಶ್ರಯದಾಣವನ್ನು ನಿರ್ಮಿಸಿದ. ಪಿರಮಿಡ್ನಂತಹ ವಾಸ್ತುಶೈಲಿಯು ಖಜರಾಹೋದಲ್ಲಿನ ದೇವಾಲಯಗಳನ್ನು ಹೋಲುತ್ತದೆ. ಇಲ್ಲಿನ ಶಿಲ್ಪವು ಚಂಡೇಲ ಸಂಪ್ರದಾಯವನ್ನು ನೆನಪಿಸುತ್ತದೆ.