La historia del Palacete de Cluny y la fundación del museo en el siglo 19 están íntimamente vinculadas a la familia Du Sommerard. Alexandre Du Sommerard (1779—1842), Maestro Consejero del Tribunal de Cuentas, fue uno de los aficionados de la primera mitad del siglo 19 que despertó un nuevo interés por el período medieval. Reunió una vasta colección de arte medieval y, en 1832, se instaló a vivir en una parte del palacete. Después de su muerte, en 1843, el Estado adquirió el palacete de Cluny y sus colecciones, que incluían cerca de 1 500 objetos. El mismo año, la ciudad de París cedió al Estado las termas galorromanas y el depósito lapidario que contenía, incluido el Pilar de los Nautas.
En la misma década de 1830, el arquitecto Albert Lenoir (1801—1891) propuso instalar en el palacio de las termas y en el palacete de Cluny un "museo de antigüedades nacionales" o "museo de arte francés", conservando los edificios y siguiendo los pasos del Museo de Monumentos Franceses (1795—1816). Albert Lenoir se encargó de la restauración de las termas a partir de 1838 y de la del palacete de Cluny a partir de 1843. Liberó los antiguos edificios de los añadidos posteriores y llevó a cabo una profunda restauración de la residencia medieval, contribuyendo incluso a las instalaciones museográficas. Durante el Segundo Imperio, logró preservar el perímetro del antiguo jardín del palacete de los abades, en un momento en que los proyectos de urbanismo de Napoleón III iban acompañados de la creación, al norte de los edificios, de un gran jardín arqueológico público.
Tutelado por la Comisión de Monumentos Históricos, el museo abarca la historia de las artes desde la Antigüedad hasta el Renacimiento y se beneficia de numerosos depósitos, como los Apóstoles y las vidrieras de la Santa Capilla.
Su dirección se puso en manos de Edmond Du Sommerard, el hijo de Alexandre. Durante cuarenta años, Edmond enriqueció considerablemente la colección e hizo varias adquisiciones importantes como la rosa de oro y el antependium del tesoro de la catedral de Basilea, el tapiz de La dama y el unicornio, los de La vida señorial y de la leyenda de San Esteban, además de las coronas visigodas de Guarrazar.
Cuando falleció, en 1885, la colección poseía casi 11 000 objetos. Con Edmond Du Sommerard, se modificó el aspecto del museo: se amplió el período cronológico cubierto por las colecciones, la presentación se hizo más clara y se aumentó la exigencia científica, también se publicó un primer catálogo.
Sus sucesores, Alfred Darcel y Edmond Saglio, continuaron su trabajo y profundizaron, extendiéndola al período moderno, la predominancia de las artes decorativas a la que el museo había dado lugar.
Después de la Segunda Guerra Mundial, el recorrido se modificó por completo. Mientras que las obras antiguas se presentaban en el frigidarium de las termas, los objetos medievales se exponían siguiendo un orden temático, inspirado por el Libro de los oficios de Étienne Boileau, escrito a finales del reinado de San Luis. En 1977, la creación del Museo Nacional del Renacimiento en el castillo de Ecouen conllevó la transferencia de más de 5 000 objetos. El descubrimiento fortuito de las cabezas de la Galería de los Reyes de Notre-Dame de París en 1977 llevó a la creación de una nueva sala para alojarlas.
Entre 2015 y 2022, el museo se ha embarcado en un vasto proyecto de modernización. La creación de un nuevo edificio de recepción, la mejora de la accesibilidad y los cambios en los itinerarios de los visitantes han hecho que el museo entre de lleno en el siglo 21.
