C'est en février 1947 que Jean Cocteau achète en indivision avec Jean Marais la maison du Bailli à Milly-la-Forêt. Le poète s'y installe en novembre de la même année et y passe la plupart des week-ends lorsqu'il est à Paris. En novembre 1954, Cocteau rachète sa part à Jean Marais et devient seul propriétaire de la maison dont Edouard Dermit, son légataire universel, hérite à sa mort en octobre 1963.

Edouard Dermit y vivra avec son épouse Eliane Dubroca, dite Tania, jusqu'à sa mort en 1995. En novembre 2002, la maison est achetée par l'Association des Amis du Musée Jean Cocteau, grâce aux subventions des collectivités locales et à l'apport financier de M. Pierre Bergé. Les travaux de restauration seront pris en charge par ces partenaires qui ont souhaité que l'Association des Amis du Musée Jean Cocteau devienne propriétaire de cette maison et en assure la gestion.

Le Comité Jean Cocteau, présidé par Pierre Bergé (titulaire du droit moral sur l’œuvre de Jean Cocteau), est dépositaire des œuvres léguées par le poète à ses héritiers. Ce Fonds est constitué de plus de 3000 pièces, principalement des dessins, huiles, pastels, et photographies, il y a aussi des oeuvres prêtées par la Fondation Pierre Bergé - Yves Saint Laurent (Andy Warhol, Jacque-Emile Blanche, Marie Laurencin). Les plus importantes seront présentées de façon permanente ou temporaire dans l’espace Collections, au premier étage de la Maison.