Ce château est construit en 1830 par la famille Cacaud, une famille de notables dont certains membres sont notaires, maires...
« La Maison du Docteur »{{RaddoPhoto | id=68922| legende=La Maison du Docteur}} En 1895, Hélène Cacaud épouse Désiré Rouillon, né à la Fauconnière, conseiller d'arrondissement. Ils résident ici avec leurs enfants dont nous retiendrons : Charles, né en 1899 et Adrien né en 1903.
Puis le château est loué de 1911 à 1926 environ à un médecin, le Docteur Constant Delaire. Durant cette période, le château devient «La maison du Docteur».