Balzac avait quitté la rue des Batailles pour les Jardies : il alla ensuite demeurer à Passy. La maison qu’il habitait, située sur une pente abrupte, offrait une disposition architecturale assez singulière. — On y entrait “un peu comme le vin entre dans les bouteilles.” Il fallait descendre trois étages pour arriver au premier. - Théophile Gautier, Honoré de Balzac, 1859
Après le départ de Balzac, le propriétaire Etienne Désiré Grandemain entreprend certains travaux, notamment la réduction de la salle à manger. A la mort de Grandemain en 1878, le pavillon revient à sa fille, Madame Barbier, qui, ayant connu Balzac, offre l’honneur d’une visite de l'ancien appartement de l'écrivain à quelques privilégiés. C'est lors d'une telle visite qu’en 1890 l’homme de lettres Louis Baudier de Royaumont découvre l'ancienne résidence de Balzac à Passy. L’appartement est alors occupé - par exemple par l’architecte Hénin de 1905 à 1907.
- 16 mai 1908: Près de vingt ans après sa première visite, Louis Baudier de Royaumont loue l'ancien appartement de Balzac.
- 16 juillet 1910: Inauguration d'un musée consacré à Balzac par Louis Baudier de Royaumont, en présence de Madame Barbier, Madame Duhamel-Surville, la petite-nièce de Balzac, et Mademoiselle Carrier-Belleuse, son arrière-petite-nièce.
- 3 mai 1913: Le pavillon est inscrit à l’inventaire de Monuments historiques.
- 1918: Mort de Louis Baudier de Royaumont. Un nouveau locataire, Louis Allainguillaume, engage le “conservateur” Carlos Larronde. D’importants travaux sont entrepris. C’est à cette époque que la majorité des portes de la maison est embrasée et que les murs sont refaits à neuf, réduisant à néant tout espoir de récupérer la moindre trace des anciens papiers peints.
- 1922: Louis Allainguillaume sous-loue l’appartement à André Chancerel, qui luttera tout au long de sa vie pour la reconnaissance officielle du musée.
- 5 janvier 1929: Mort de Madame Barbier, qui avait légué le pavillon à l’Etat, sous réserve qu'il n'en prenne réellement possession qu’en 1950.
- 13 janvier 1930: Une agence immobilière privée (45 rue de la Chaussée-d'Antin), gérée par la Comtesse de Limur, devient usufruitier du 47 rue Raynouard jusqu’en 1950.
- 1937: Elargissement de la rue Raynouard. Les numéros 47 et 49 sont démolis. De l’ancien hôtel particulier subsiste seulement la "folie Bertin", pavillon qui deviendra la Maison de Balzac.
- 13 mars 1944: Inscription du jardin à l’inventaire des Monuments historiques.
- 1949: L'Etat cède les locaux à la Ville de Paris, qui décide d'y aménager un musée.
- 1960: Réouverture du musée. L'ensemble du pavillon devient la Maison de Balzac. Les conservateurs Patrice Boussel et Jacqueline Sarment développent les collections et organisent les premières expositions.
- 1971: Installation de la bibliothèque dans les anciennes écuries, côté rue Berton (anciennement rue du roc).