ಉದಯಗಿರಿ ಮತ್ತು ಖಂಡಗಿರಿ ಗುಹೆಗಳು ಭುವನೇಶ್ವರದ ಪ್ರಮುಖ ಪ್ರವಾಸಿ ಆಕರ್ಷಣೆ. ಇದು ಭುವನೇಶ್ವರದಿಂದ ಕೇವಲ 8 ಕಿ.ಮೀ ದೂರದಲ್ಲಿದೆ. ಒಂದೊಮ್ಮೆ ಈ ಗುಹೆಗಳು ಜೈನ ಮಠಗಳ ಪ್ರಮುಖ ತಾಣವಾಗಿತ್ತು. ಇಲ್ಲಿನ ಬೆಟ್ಟಗಳಲ್ಲಿ ಕೆತ್ತಲಾದ ಕೋಣೆಗಳಿಂದ ಮಠಗಳು ಕಾರ್ಯ ನಿರ್ವಹಿಸುತ್ತಿದ್ದವು. ಪ್ರಸ್ತುತ ಇವು ಗುಹೆಗಳಾಗಿವೆ. ಈ ಮಠಗಳು ಎರಡನೇಯ ಶತಮಾನದಲ್ಲಿ ನಿರ್ಮಿತವಾದದ್ದು ಎನ್ನಲಾಗಿದೆ.

ಇಲ್ಲಿನ ಕೆಲವು ಗುಹೆಗಳಲ್ಲಿ ಕೆತ್ತನೆಯ ಕೆಲಸವನ್ನು ಕಾಣಬಹುದು. ಒಂದು ಎರಡು ಅಂತಸ್ತುಳ್ಳ ಗುಹೆಯಿದ್ದು ಅದನ್ನು ರಾಣಿ ಗುಂಫಾ ಅಥವಾ ರಾಣಿ ಗುಹೆ ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ. ಈ ಗುಹೆಯಲ್ಲಿ ಬಹು ಪ್ರಮಾಣದ ಅಲಂಕಾರಿಕ ಕೆತ್ತನೆಯನ್ನು ಕಾಣಬಹುದು. ಮತ್ತೊಂದು ದೊಡ್ಡದಾದ ಗುಹೆಯಿದ್ದು ಅದನ್ನು ಆನೆ ಅಥವಾ ಹಾತಿ ಗುಹೆ ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ. ಒಟ್ಟಾರೆ ಉದಯಗಿರಿಯಲ್ಲಿ 18 ಗುಹೆಗಳಿದ್ದು, ಖಂಡಗಿರಿಯಲ್ಲಿ 15 ಗುಹೆಗಳಿವೆ.