ಲೊಹಾನಿ ಗುಹೆಗಳು ಮತ್ತು ದೇವಾಲಯಗಳು ಮಾಂಡುವಿನ ಉಳಿದೆಲ್ಲ ಕಟ್ಟಡಗಳ ವಿರುದ್ಧ ದಿಶೆಯಲ್ಲಿವೆ. ಇಲ್ಲಿನ ಕೆತ್ತನೆಗಳು ಮತ್ತು ಶಾಸನಗಳು ಮಾಂಡುವಿನ ಉಳಿದೆಲ್ಲಾ ಕಟ್ಟಡಗಳಂತೆ ಅದ್ಭುತವಾಗಿವೆ. ಲೊಹಾನಿ ಗುಹೆಗಳು ಕಲ್ಲುಗಳನ್ನು ಕತ್ತರಿಸಿ ನಿರ್ಮಿಸಲಾದ ಕೊಠಡಿಗಳ ಒಂದು ಗುಂಪು. ಅವು ಆರಂಭದಲ್ಲಿ ಶೈವ ಯೋಗಿಗಳ ನಿವಾಸಗಳಾಗಿದ್ದವೆಂದು ಅಂದಾಜಿಸಲಾಗಿದೆ. ಬಂಡೆಯನ್ನು ಕತ್ತರಿಸಿ ನೀರು ಸಂಗ್ರಹಣಾ ತೊಟ್ಟಿ ಮತ್ತು ಗುಹೆಗಳ ಪ್ರವೇಶವನ್ನು ರೂಪಿಸಲಾಗಿದೆ.
ಲೊಹಾನಿ ಗುಹೆಗಳು ಒಂದು ವಿವಾದಿತ ಇತಿಹಾಸವನ್ನು ಹೊಂದಿವೆ. ಗುಹೆಗಳು ಕೇವಲ ಯೋಗಿ ಗಳ ನಿವಾಸಗಳಾಗಿದ್ದವೆಂದು ಕೆಲವರು ಅಭಿಪ್ರಾಯಪಟ್ಟರೆ, ಧಾರ್ಮಿಕ ವಿಗ್ರಹಗಳು ಇಲ್ಲಿಂದ ಹೊರಬಂದಿರುವ ಕಾರಣ ಇವು ಧಾರ್ಮಿಕ ಮಹತ್ವ ಹೊಂದಿರುವ ಗುಹೆಗಳು ಎಂದು ಕೆಲವರು ವಾದಿಸುತ್ತಾರೆ. ಈ ವಿಗ್ರಹಗಳು ಪ್ರಸ್ತುತ ಹೂಶಂಗ್ ಷಾ ಸಮಾಧಿಯ ಧರ್ಮಶಾಲಾದಲ್ಲಿನ ಮ್ಯೂಸಿಯಂನಲ್ಲಿವೆ. ಇದು ಗುಹೆಗಳ ಒಳಗಿನ ದೇವಾಲಯಗಳು ಇಸ್ಲಾಮಿಕ್ ಪೂಜಾ ಸ್ಥಳಗಳಾಗಿದ್ದವೆಂದೂ ನಂಬಲಾಗಿದೆ.