Neuf années ont passé depuis le mariage de Polly, l'union de Clary et d'Archie et le divorce de Louise. Une nouvelle génération d'enfants a vu le jour, et quand la Duchesse s'éteint en juin 1956, elle emporte avec elle les derniers vestiges d'un monde révolu. Hugh et Edward, tous deux remariés, doivent faire face aux difficultés financières de l'entreprise familiale ; Louise, désormais mannequin, a une liaison avec un homme marié, tandis que Polly et Clary tentent de trouver un équilibre entre leur foyer et leurs ambitions personnelles.

Juillet 1937, Sussex. Dans la propriété familiale de Home Place, la duchesse, affairée avec ses domestiques, prépare l'arrivée de la famille au grand complet : ses trois fils revenus indemnes de la Grande Guerre, Hugh, Edward et Rupert, accompagnés des épouses, des enfants et des gouvernantes. Alors qu'une nouvelle guerre approche, les intrigues familiales s'entrecroisent.

1939, Angleterre. Alors que la guerre débute, la famille Cazalet tente de maintenir sa routine quotidienne. Louise, 18 ans, intègre une école de cuisine où elle rencontre Stella Rose, une jeune juive. Clary est persuadée que son père Rupert, porté disparu, est toujours vivant tandis que Polly, sa meilleure amie, est perturbée par les conflits entre ses parents et tombe amoureuse de Christopher.

Mars 1942. Les cousines Polly et Clary ont 17 ans alors que la guerre fait rage. Accablées par le chagrin, l'une à cause du décès de sa mère et l'autre par la disparition de son père, les jeunes filles cherchent un moyen d'échapper à l'étau familial.