옥산서원(玉山書院)은 회재(晦齋) 이언적(李彦迪) 선생을 봉향하는 서원(書院)으로 1572년(선조 5년)에 창건되었다. 이언적(李彦迪) 선생은 조선조의 성리학자(性理學者)로 도학으로 이름이 드높았으며, 동방오현의 한 사람으로 추앙되었다.옥산서원(玉山書院) 태극문(太極門) 안에는 임금이 쓴 글씨와 편지, 회재선생(晦齋先生)의 글씨, 퇴계선생(退溪先生)의 글씨를 비롯해서 「삼국사기(三國史記)」 완전 1질이 보관되어 있어서 학술연구(學術硏究)에 좋은 자료(資料)가 되고 있다.
옥산서원을 둘러본 뒤에 자계천을 따라 500m 쯤 더 올라가면 독락당(獨樂堂)(보물(寶物) 제413호)이다. 이곳에는 사랑채인 독락당(獨樂堂)과 ㅁ자형의 안채, 노비들이 거처하던 행랑채와 공수간(供需間:음식을 장만하는 공간), 임금의 하사품 서책을 보관하던 어서각(御書閣)가 사당, 그리고 별당인 계정(溪亭)등이 합쳐 큰 살림집을 이루고 있다.
서원(書院) 내 독락당(獨樂堂)은 이언적이 낙향하여 학문에 몰입하던 곳으로, 주위에 수려한 정자와 계곡이 어울려 운치를 더해 주고 있다. 또 독락당(獨樂堂) 뒷편 정혜사지(淨惠寺地)에는 일반탑과 판이하게 다른 양식의 정혜사지13층석탑(淨惠寺地十三層石塔)이 세워져 눈길을 모으고 있다.