1979년 1월 23일 중요민속자료 제88호로 지정되었다.
1586년(선조19) 화천(花川) 건너 부용대(芙蓉臺) 기슭에 세운 건물이다. 서애 선생은 학문 연구와 후진 양성을 위해 작은 서당을 세우고자 하였으나, 가세가 빈곤하여 걱정하던 중 탄홍(誕弘) 스님이 10년 동안 곡식과 포목을 시주하여 완공하였다고 한다.
문간채·바깥채·안채·별당까지 두루 갖추고 있으며, 화천이 마을을 시계 방향으로 휘감아 돌다가 반대 방향으로 바꾸는 옥소(玉沼)의 남쪽에 있다. 소의 맑고 푸른 물빛을 따서 옥연정사라고 부른다.
문간채는 왼쪽 남쪽부터 차례로 측간과 대문을 두고 대문 오른쪽에 광을 3칸이나 둔 一자형이다. 바깥채는 정면 4칸, 측면 2칸의 건물로 정사각형의 4칸짜리 대청의 오른쪽·왼쪽으로 1칸 반의 방을 두어 대칭을 이루고 있다.
안채는 8칸 겹집형식으로 부엌이 중앙에 있고 방이 부엌을 중심으로 가로·세로 2칸씩 좌우에 배치되어 있다. 별당채는 바깥채와 안채 사이에 있는데 앞면 3칸·옆면 2칸으로 서쪽 모서리에 2칸 반의 방이 하나 있고 나머지는 마루로 되어 있다.