ಸ್ಕಂದಾಶ್ರಮವನ್ನು ಸ್ಥಾಪಿಸಿದವರು ಕಂದಸ್ವಾಮಿ. ಇವರೇ ಕಟ್ಟಡದ ಪ್ರಾಥಮಿಕ ಭಾಗವನ್ನು ನಿರ್ಮಿಸಲು ಮುಂದಾದವರು. ಸ್ಕಂದಾಶ್ರಮವೊಂದು ಗುಹೆಯಾಗಿದ್ದು ವಿರೂಪಾಕ್ಷ ಗುಹೆಗೆ ಹತ್ತಿರದಲ್ಲಿಯೇ ಇದೆ. ಆಶ್ರಮದಲ್ಲಿ ಸ್ವಚ್ಚ ನೀರಿನ ತೊರೆಯಿದ್ದು ಕುಡಿಯಲು ಯೋಗ್ಯವಾಗಿದೆ. ಗುಹೆಯಲ್ಲಿ ಎರಡು ಕೋಣೆಯನ್ನೂ ಕಟ್ಟಲಾಗಿದೆ. ಆಶ್ರಮದ ತಾರಸಿಯಲ್ಲಿ ನಿಸರ್ಗದ ಸುಂದರತೆಯನ್ನು ಸವಿಯಲು ಅವಕಾಶವಿದೆ. ಭಗವಾನ್ ತಮ್ಮ ತಾಯಿ ಅಲಗಮ್ಮ ಕೊನೆಯುಸಿರೆಳೆಯುವವರೆಗೆ 1922 ರವರೆಗೆ ಇದೇ ಆಶ್ರಮದಲ್ಲಿ ತಂಗಿದ್ದರು ಎಂದು ನಂಬಲಾಗುತ್ತದೆ. 1922 ರಲ್ಲಿ ರಮನ ಮಹರ್ಷಿಗಳ ತಾಯಿಯಸ ಸಮಾಧಿಯೂ ಇಲ್ಲೇ ನಿರ್ಮಿಸಲಾಗಿದೆ.