Cette ancienne propriété du duc de Choiseul puis du duc de Penthièvre, confisquée par la nation en 1792, est offerte par Napoléon à l'ex-consul Roger Ducos.
Ce dernier, n'ayant pas les moyens de restaurer l'ensemble, fait détruire une grande partie du bâtiment de 1806 à 1810.
Louis-Philippe Ier héritera du château par le biais de sa mère.