L'histoire des châteaux de La Ferté-Vidame se mêle à celles d'hôtes illustres, parmi lesquels Louis de Rouvroy, duc de Saint-Simon (1675-1755).
Il s'agit là du grand mémorialiste St-Simon, qui rédigea l'essentiel de son œuvre dans son château de La Ferté-Vidame (édifice médiéval du XIVe siècle, aujourd'hui disparu).
A l’entrée du parc du château actuel, l’espace St-Simon abrite un musée qui retrace l’histoire mouvementée des lieux et de ses hôtes, à l'aide de documents et d'un diaporama.
Le château actuel a été construit par le financier Jean-Joseph de Laborde, autour de 1770. Suite à la Révolution, il n'en reste que des ruines, mais des ruines monumentales, dressées jusqu'à 3 niveaux, sur près de 160 m de longueur. Ces belles et imposantes ruines romantiques sont au cœur des perspectives du vaste parc à la française, lui aussi tout en démesure (60 hectares boisés avec sentiers de randonnée, canaux, pièces d'eau et longues perspectives).
Autre hôte illustre du site : le roi Louis-Philippe, qui fit agrandir le "petit château" (des communs construits pour St-Simon) mais ne put réaliser une véritable restauration.