ಸಿದ್ದನಾಥ ಶಿವ ದೇವಸ್ಥಾನವು ತಖತ್‌ ಸಾಗರ ಗುಡ್ಡದ ಮಧ್ಯೆ ಇದೆ. ಈ ದೇವಸ್ಥಾನಕ್ಕೆ ಹೋಗುವ ದಾರಿಯು ಮೊದಲು ಕಠಿಣವಾಗಿತ್ತು. ದೇವಸ್ಥಾನಕ್ಕೆ ಪ್ರವೇಶಿಸುವವರು ಕಲ್ಲಿನಿಂದ ಮಾಡಿದ ಮೆಟ್ಟಿಲುಗಳನ್ನು ಹತ್ತಿ ಹೋಗಬೇಕಿತ್ತು.

ಈ ದೇವಸ್ಥಾನದ ಇತಿಹಾಸವು ತುಂಬಾ ದೊಡ್ಡದಾಗಿದೆ. ಈ ಪ್ರದೇಶವನ್ನು ಹಿಂದೆ ಮರುಭೂಮಿ ಎಂದು ಗುರುತಿಸಲಾಗಿತ್ತು. ಇದು ಸಂಪೂರ್ಣವಾಗಿ ಏಕಾಂತದ ವಾತಾವರಣವಾಗಿತ್ತು. ಈ ಸುತ್ತಮುತ್ತಲಿನ ಪ್ರದೇಶದಲ್ಲಿ ಭಕ್ತಿಯಿಂದ ಪೂಜಿಸಲ್ಪಡುವ, ವೀತರಾಗಿ ನರೇನ್‌ ಸ್ವಾಮಿ ಎಂಬುವವರು ಇಲ್ಲಿ ವಾಸಿಸುತ್ತಿದ್ದರು. ನಂತರದಲ್ಲಿ ಇನ್ನೊಬ್ಬ ಸಂತ ಗೌರಿಶಂಕರರು ಇಲ್ಲಿ ನೆಲೆಸಿದರು. ಇವರು ಅಂಗವಿಕಲರಾಗಿದ್ದು, ಕೈಯಲ್ಲಿ ನಾಲ್ಕು ಬೆರಳುಗಳು ಮಾತ್ರ ಇತ್ತು. ಇವರನ್ನು ನೇಪಾಳಿ ಬಾಬಾ ಎಂದು ಕರೆಯಲಾಯಿತು. ಇವರು ಅತ್ಯಂತ ದೊಡ್ಡದಾದ ದೇವಸ್ಥಾನವೊಂದನ್ನು, ಕಲ್ಲನ್ನು ಕೊರೆದು ಸ್ವತಃ ಕಟ್ಟಿದರು.  ಈ ದೇವಸ್ಥಾನವನ್ನು ನಂತರದಲ್ಲಿ ಸಿದ್ಧನಾಥ ಶಿವ ದೇವಸ್ಥಾನ ಎಂದು ಕರೆಯಲಾಯಿತು.