En 1864, James de Rothschild acquériert la villa Normanby, mais il ne semble pas intéressé par la propriété. Il la revend donc à son fondé de pouvoir, Horace de Landau, deux ans plus tard. Ce citoyen hongrois qui est, depuis 1862, le représentant à Turin de la banque Rothschild en Italie a négocié avec le gouvernement piémontais l’octroi de prêts importants qui serviront à parachever l’unité italienne. (1864) Il mène tout d’abord une vie d’homme d’affaires et voyage beaucoup à l’étranger. Parallèlement, il poursuit les travaux d’agrandissement et d’embellissement de l’édifice.

En 1872, il décide de se retirer pour se consacrer entièrement à sa passion de bibliophile et d’amateur d’art. Dans la grandes salle du deuxième étage, aujourd’hui salle  Richelieu, il constitue une bibliothèque d’une incroyable richesse et diversité : manuscrits enluminés, incunables, bibles et livres liturgiques et religieux, premières éditions ou éditions rares, exemplaires dédicacés par l’auteur, partitions et livrets, recueils de poésie, traités de médecine, de chirurgie, de mathématiques, miniatures, gravures etc.
Il l’enrichit constamment par des acquisitions de fonds effectuées dans les grandes ventes de Londres et Paris. Cette bibliothèque qui réunira plus de 60 000 volumes et sera considérée comme une des plus belles bibliothèques privées d’Europe bénéficie, luxe rare à l’époque, d’un bibliothécaire à temps plein.
Le baron de Landau achète également des centaines d’œuvres d’art, tableaux, sculptures, tapisseries meubles anciens, tapis et objets précieux dont il orne l’intérieur du bâtiment et plus particulièrement l’actuelle salle Stendhal. La presse de l’époque se fait l’écho et la littérature s’inspire parfois des fêtes somptueuses qui sont données à la Villa.