Au début du 20e siècle, la chasse, les courses et la proximité de Paris ont parlé en faveur de la région cantilienne et les grandes demeures toutes neuves vont accueillir sans discontinuer, au long de l’année, leurs hôtes privilégiés, ravis d’échapper pour un moment aux embarras de la capitale.
Edouard de Rothschild, fils d’Alphonse de Rothschild dirigeant de la banque Rothschild Frères, s’éprend à son tour de Chantilly où il y retrouve ses deux passions : les chevaux et le golf.
Dès 1906, il décide de « s’installer » un pied-à-terre à proximité du champs de course.
Un château va être édifié, inspiré du château de Montal (dans le Lot) d’époque renaissance : Le Manoir Sans-Souci.
Pour la famille Rothschild, Le Manoir Sans-Souci est avant tout une demeure de vacances, « une fantaisie sur le mode du 16ème siècle français dans un cadre de verdure au cachet délibéré de campagne anglaise » ainsi que se plait à le rappeler le baron Guy de Rothschild, fils d’Edouard.

Les Maîtres des lieux s’annoncent « Au Manoir » à la belle saison, pour une dizaine de jour autour de Pâques ; puis régulièrement à partir du mois de mai, pour les courses de Chantilly, bien sûr, et en fonction des vacances des enfants. Le baron décède en 1949, son épouse, la baronne Edouard de Rothschild, choisi alors de séjourner très souvent au Manoir Sans-Souci jusqu’à sa mort en 1975, date à laquelle l’INFA s’installe dans les lieux…