L’histoire de l’hôtel de Cluny et la fondation du musée au 19e siècle sont intimement liées à la famille Du Sommerard. Conseiller-maître à la Cour des comptes, Alexandre Du Sommerard (1779-1842) compte parmi les amateurs de cette première moitié du 19e siècle qui suscitèrent un nouvel intérêt pour la période médiévale. Il réunit une vaste collection consacrée aux arts du Moyen Âge et s'installe en 1832 dans une partie de l’hôtel. Après sa mort, l’État acquiert en 1843 l’hôtel de Cluny et ses collections, riches de près de 1 500 objets. La même année, la Ville de Paris cède à l’État les thermes gallo-romains et le dépôt lapidaire qu'il contenait, dont le Pilier des nautes.
Durant la même décennie 1830, l'architecte Albert Lenoir (1801-1891) propose d’installer dans le palais des thermes et dans l’hôtel de Cluny un "musée d’antiquités nationales" ou "musée d'art français", préservant les bâtiments et s’inscrivant dans la lignée du musée des Monuments français (1795 - 1816). Responsable de la restauration des thermes dès 1838, de celle de l’hôtel de Cluny à partir de 1843, Albert Lenoir dégage les bâtiments antiques des ajouts postérieurs et mène une restauration approfondie de la demeure médiévale, contribuant même aux installations muséographiques. Sous le Second Empire, il parvient à conserver le périmètre de l’ancien jardin de l’hôtel des abbés, à l’heure où les projets d’urbanisme de Napoléon III s’accompagnent de la création, au nord des bâtiments, d’un grand jardin archéologique public.
Placé sous la tutelle de la Commission des Monuments historiques, le musée couvre l’histoire des arts depuis l’Antiquité jusqu’à la Renaissance et de bénéficier de très nombreux versements, comme les Apôtres et les vitraux de la Sainte-Chapelle.
La direction en est confiée à Edmond Du Sommerard, le fils d'Alexandre. Pendant quarante ans, il enrichit considérablement la collection et fait plusieurs acquisitions majeures comme la rose d'or et l'antependium du trésor de la cathédrale de Bâle, la tenture de La Dame à la licorne, celles de La Vie seigneuriale et de la légende de saint Étienne, ou encore les couronnes wisigothiques de Guarrazar.
À sa disparition en 1885, l’ensemble compte près de 11 000 objets. Avec Edmond Du Sommerard, la physionomie du musée change : la période chronologique couverte par les collections est élargie, la présentation gagne en clarté et en exigence scientifique, un premier catalogue est publié.
Ses successeurs, Alfred Darcel et Edmond Saglio, poursuivent son œuvre et accentuent, en la prolongeant sur la période moderne la dominante arts décoratifs que le musée avait fait naître par ailleurs.
Après la Seconde Guerre mondiale, le parcours est entièrement repensé. Tandis que les œuvres antiques sont présentées dans le frigidarium des thermes, les objets médiévaux sont exposés selon un fil thématique, inspiré par le Livre des métiers d’Étienne Boileau, écrit à la fin du règne de saint Louis. En 1977, la création du musée national de la Renaissance au château d'Ecouen entraîne le transfert de plus de 5 000 objets. La découverte fortuite des têtes de la galerie des rois de Notre-Dame de Paris en 1977 donne lieu à l'aménagement d'une nouvelle salle pour les accueillir.
Entre 2015 et 2022, le musée a conduit un vaste projet de modernisation. Création d'un nouveau bâtiment d'accueil, mise en accessibilité et reprise des parcours de visite ont permis de faire entrer le musée dans le 21e siècle.
