ವಿರೂಪಾಕ್ಷ ಗುಹೆ ಸುಮಾರು 14ನೇ ಶತಮಾನದಿಂದಲೂ ಧಾರ್ಮಿಕ ಮಹತ್ವ ಹೊಂದಿದೆ. ಪ್ರಾರಂಭದಲ್ಲಿ ಗುಹೆ ಪ್ರಸಿದ್ದಿ ಪಡೆದಿದ್ದು ಸಂತ ವಿರೂಪಾಕ್ಷ ದೇವನಿಂದ. ಆದರೆ ಇದೀಗ ವಿರೂಪಾಕ್ಷ ಗುಹೆ ಹೆಸರುವಾಸಿಯಾಗಿರುವುದು ರಮಣ ಮಹರ್ಷಿಗಳಿಂದ. 1899 ರಿಂದ ಸುಮಾರು 16 ವರ್ಷಗಳ ಕಾಲ ವಿರೂಪಾಕ್ಷ ಗುಹೆಯನ್ನು ರಮಣ ಮಹರ್ಷಿಗಳು ತಮ್ಮ ಮನೆಯನ್ನಾಗಿ ಮಾಡಿಕೊಂಡಿದ್ದರು.

ಮಹರ್ಷಿಗಳು ಗುಹೆಯಿಂದ ಹೊರ ಬಂದಿದ್ದು 1916 ರಲ್ಲಿ. ಇದೇ ಗುಹೆಯಲ್ಲಿರುವಾಗ ಸೆಲ್ಫ್ ಎನ್ಕ್ವೈರಿ ಮತ್ತು ವ್ಹೂ ಎಮ್ ಐ ಎಂಬ ಗ್ರಂಥಗಳನ್ನು ಬರೆದರು. ರಮಣ ಮಹರ್ಷಿಗಳ ಅನುಯಾಯಿಗಳು ಗುಹೆಗೆ ಧಾರ್ಮಿಕ ಮಹತ್ವ ನೀಡಿರಲು ಇದೂ ಒಂದು ಕಾರಣ. ಅಂತರಂಗದ ಶಾಂತಿಯ ಹುಡುಕಾಟಕ್ಕೆ ಹಲವರು ಇದೇ ಸ್ಥಳದಲ್ಲಿ ಧ್ಯಾನಕ್ಕೆ ಕೂರುತ್ತಾರೆ.

ವಿರೂಪಾಕ್ಷ ಗುಹೆಗೆ ಹೋಗುವಾಗ ರಮಣ ಆಶ್ರಮ ಮತ್ತು ಸ್ಕಂದಾಶ್ರಮಗಳನ್ನು ದಾರಿಯಲ್ಲಿ ಹಾದು ಹೋಗಬೇಕು. ತಿರುವಣ್ಣಾಮಲೈ ದೇವಸ್ಥಾನ ಮತ್ತು ಅರುಣಾಚಲೇಶ್ವರ ದೇವಸ್ಥಾನ ಮಾರ್ಗವಾಗಿಯೂ ಗುಹೆಗೆ ಹೋಗಬಹುದು. ಹಲವು ಭಕ್ತರು ತಿರುವಣ್ಣಾಮಲೈನ ಮುಖ್ಯ ದೇವಸ್ಥಾನದಿಂದ ನಡೆದುಕೊಂಡು ಹೋಗುತ್ತಾರೆ. ಈ ನಡಿಗೆ ತಮ್ಮ ಯಾತ್ರೆಯ ಒಂದು ಭಾಗವೆಂದು ಭಾವಿಸುವ ಭಕ್ತರು ಪ್ರಾರ್ಥನೆ ಸಲ್ಲಿಸುತ್ತಾ ಸಾಗುತ್ತಾರೆ.