이 집은 공재(恭齋) 윤두서(1668∼1715)가 살던 집이라 한다.
윤두서(尹斗緖)는 겸재(謙齋) 정선(鄭敾), 현재(玄齋) 심사정(沈師正)과 함께 조선 후기의 3재(三齋)로 일컬어지는 선비화가로서 고산(孤山) 윤선도(尹善道, 1587∼1671)의 증손이다. 고산 윤선도가 장자인 윤인미(仁美)를 분가시키고 자신도 거처하기 위해 이 집을 지었으나 해변에 위치하여 해풍이 심해 고산은 해남읍 연동에 기거하고 뒤에 증손인 윤두서가 살았던 곳이라 한다.
건립시기는 안채의 종도리 장여밑에 중수 상량명문(경술후백사십이년신미운운(庚戌後百四十二年辛未云云))있는데 윤두서의 생존연간과 비교해 보면 1670년(현종11)에 건립되어 뒤에 윤두서가 살게되었고, 1811년(순조 11)에 중수한 것으로 추정할 수 있다. 그러나 안새에 적힌 명문(동치십년신미구월중수(同治十年辛未九月重修)등)을 근거로 할 경우 동치 10년은 1871년(신미(辛未))에 해당되므로 이 '신미'년이 안채 장여의 명문중의 '신미'년과 같은해라면 현 건물의 건립연대는 공재공의 사후인 1730년경으로도 추정이 가능하다.
건립 당시에는 동쪽으로 지은 문간채로 들어가 우측에 사랑채가 놓인 48칸 규모였다고 전하나 현재는 문간채와 사랑채는 없어지고 안채 13칸과 3칸의 곳간채와 헛간, 그리고 사당이 남아 있다. 안채는 ㄷ자형 평면에 용마루에 작은 합각이 있는 맞배지붕으로 되어 있고 동쪽 광의 남면 끝 지붕은 우진각으로 되어 있다. 또 곳간채와 안채사이에 출입통로가 나 있으며 안채의 한 가운데에는 쌍여닫이 정자살문을 댄 대청을 두고 좌우익사(左右翼舍)에는 방과 주방들을 두어 툇마루를 설치하였다.
가구형식은 1고주 5량가로 해풍의 영향을 막고자 지붕을 높이 쳐들지 않고 푹 덮었다. 처마는 홑처마 지붕으로 연목만 걸었으며, 대청 마루 위의 가구는 자연스럽게 약간 굽은 대들보를 걸고 그 위에 판대공을 구성하여 장여와 종도리를 받치고 있다. 또 툇마루 위에는 우미량 같이 자연스레 굽은 퇴보를 걸고 초각되지 않은 보아지로 기둥의 사괴를 결구시켜 강한 구조를 하고 있다. 기단은 산돌 평축 쌓기로 되어 있으며 주초는 덤벙주초를 놓고 벽체는 판벽과 회벽을 방의 용도에 따라 조성하였다. 특히 이 집은 조선시대 문인화가의 고택으로 안채의 평면구성, 두리기둥과 구부러진 퇴보나 대들보의 견실한 결구, 부엌의 앞쪽 툇마루를 찬마루로 이용한 점 등이 특징적이다.