Jusqu'à la fin du XIXe siècle, la Ville de Paris ne possédait aucun musée : depuis 1797, la majeure partie des collections nationales était présentée au public dans le Museum, actuel musée du Louvre, une autre partie étant attribuée aux musées des beaux-arts des grandes villes de province.
Sous le Second empire, à l'époque où les travaux d'Haussmann bouleversaient le vieux Paris, l'administration parisienne conçut le projet d'un musée consacré à l'histoire de la ville. C'est ainsi que naquit le musée Carnavalet. Inauguré en 1880, c'est le plus ancien musée municipal de la capitale. Jusqu'alors, les sculptures, tableaux et peintures murales se déployaient dans l'Hôtel de Ville et les divers établissements municipaux, y compris les églises. Pour soutenir la création artistique, la Ville achetait également dans les Salons, des peintures, des sculptures, des estampes, des médailles et autres objets d'art. Ces œuvres, stockées en dépôt, étaient inaccessibles au public.
L'exposition universelle de 1900 fut l'occasion de présenter une partie de ces collections dans le bâtiment du Petit Palais, construit pour la circonstance. Après l'exposition, la ville décida de transformer cet édifice en musée permanent, le "Palais des Beaux-arts de la Ville de Paris". C’est par la donation des frères Dutuit en 1902 que ce musée étendit ses collections à l’art ancien. Plus tard, Tuck en 1930, Zoubaloff en 1935, ou Maurice Girardin en 1953, collectionneur d'art contemporain, ont encore enrichi ses collections.
Déjà en 1896, Henri Cernuschi avait légué à la Ville de Paris ses collections d'art japonais et chinois, ainsi que l'hôtel particulier, construit pour les loger (7 avenue Vélasquez, Paris 8e). Au début du XXe siècle, la Ville de Paris possède ainsi trois musées: un musée historique (Carnavalet), un autre des beaux-arts (Petit Palais) et un musée spécialisé (Cernuschi).
En 1901, la Ville reçoit de Paul Meurice, fidèle ami de Victor Hugo, une maison de la place des Vosges que le poète avait longtemps habitée. A cette donation s'ajoute bientôt l'émouvant héritage constitué par la maison où Hugo avait passé ses années d'exil, à Guernesey ; ses héritiers l’offrent à la Ville en 1927.
En 1929, la Ville de Paris reçoit Ernest Cognacq sa collection d'œuvres d'art du XVIIIe siècle, abritée dans le magasin même de la Samaritaine, boulevard des Capucines. Deux nouvelles catégories de musées apparaissent ainsi : le musée-collection (Cognacq-Jay) et la maison-musée (Victor Hugo).
La création du musée d’art moderne
Depuis longtemps, la Ville souhaitait scinder les collections du Petit Palais pour créer un musée d'art moderne, dédié aux courants artistiques du XXe siècle. La même réflexion s'était engagée autour du Musée de Luxembourg par l’État. Cette réflexion donna naissance au projet conjoint du Palais de Tokyo construit en 1937. L'État y installe le Musée d'art Moderne national en 1947 (avant de le transférer au Centre Pompidou en 1977), tandis que la Ville de Paris y crée le Musée d'art moderne en 1961.
A la même époque, les collections de costumes du musée Carnavalet en sont détachées pour former une collection distincte, rassemblée à partir de 1985 au palais Galliera, don de la Duchesse Galliera où la Ville avait eu un éphémère musée des arts décoratifs.
L'acquisition de la maison de Balzac en 1949 et du musée de la Vie romantique par la donation Renan-Scheffer -fruit d'un accord avec l' État- augmentent le nombre des maisons-musées de la Ville.
Le legs Antoinette Sasse crée avec le Mémorial du Maréchal Leclerc de Hauteclocque et de la Libération de Paris pour le cinquantième anniversaire de la Libération le Musée Jean Moulin.
Deux grands sculpteurs du XXe siècle léguent à la Ville de Paris la totalité ou d'importantes parties de leurs fonds d'atelier : Bourdelle (1949) et Zadkine.
Aujourd’hui, chaque musée municipal continue d'enrichir ses collections en achetant des œuvres et des objets sur le marché et en recueillant de nouvelles donations.