ಸ್ಥಳೀಯ ವ್ಯಾಪಾರಿಗಳಾದ ಅಹುಕಾ ಮತ್ತು ಮಾನ್ಯುಕಾ ಕ್ರಿ.ಶ 1204 ರಲ್ಲಿ ಬೈಜನಾಥ ದೇವಸ್ಥಾನವನ್ನು ನಿರ್ಮಿಸಿದರು. ಪಾಲಂಪೂರದಿಂದ ಈ ಸ್ಥಳ 16 ಕಿಲೋ ಮೀಟರ್ ದೂರದಲ್ಲಿದೆ. ದೇವಸ್ಥಾನ ಅರ್ಪಿತವಾಗಿದ್ದು ಶಿವನಿಗೆ. ಇನ್ನೂ ನಿರಂತರವಾಗಿ ಕಟ್ಟಲಾಗುತ್ತಿದೆ.
ದೇವಸ್ಥಾನದ ಈಗಿನ ರಚನೆ ನಾಗರ ಶೈಲಿಗೆ ತಕ್ಕ ಉದಾಹರಣೆ. ಮಧ್ಯಯುಗದ ಉತ್ತರ ಭಾರತದ ದೇವಸ್ಥಾನದ ಶೈಲಿಗೆ ಸರಿ ಹೊಂದುತ್ತದೆ.ದೇವಸ್ಥಾನದೊಳಗೆ ಸ್ವಯಂಭೂ ಶಿವಲಿಂಗವಿದೆ. ಇದರ ಮೇಲೆ ಗೋಪುರ ನಿರ್ಮಿಸಲಾಗಿದೆ. ಪ್ರವೇಶದ ಹಾಲ್ ನಲ್ಲಿ ಚೌಕಾಕಾರದ ಮಂಟಪವಿದೆ. ಸಣ್ಣ ಗಾತ್ರದ ಬಾಲ್ಕನಿಗಳೂ ಇವೆ. ದೇವಸ್ಥಾನದ ಹೊರಗೋಡೆಗಳಲ್ಲಿ ದೇವಾನುದೇವತೆಗಳ ಚಿತ್ರವನ್ನು ರೂಪಿಸಲಾಗಿದೆ.
ನಾಲ್ಕು ಕಂಬದ ಮುಖಮಂಟಪದಲ್ಲಿ ನಂದಿಯ ವಿಗ್ರಹವನ್ನು ಕೂರಿಸಲಾಗಿದೆ. ಶಿವನ ವಾಹನ ಬಸವನನ್ನು ಇಲ್ಲಿ ಕಾಣಬಹುದು.