Das Museum für Konkrete Kunst widmet sich ausschließlich der Konkreten Kunst, was in dieser Spezialisierung einzigartig in Deutschland ist. Den Grundstock der Sammlung bildete der Ankauf der privaten Kunstsammlung von Eugen Gomringer, der zu den zentralen Vertretern der Konkreten Poesie gehört. Er arbeitete unter anderem als Sekretär von Max Bill an der Ulmer Hochschule für Gestaltung und unterhielt darüber hinaus enge persönliche Kontakte zu den wichtigsten Konkreten Künstlern. 1980 beschloss er, seine umfangreiche Sammlung konstruktiver und Konkreter Kunst geschlossen zu verkaufen. Der Kontakt nach Ingolstadt kam über die Vermittlung von Herbert Geier zustande, der damals in Ingolstadt eine international renommierte Siebdruckwerkstatt betrieb, in der unter anderem Josef Albers, Anton Stankowski und Victor Vasarely Arbeiten drucken ließen.

Zum damaligen Zeitpunkt besaß Ingolstadt mit dem Bayerischen Armeemuseum, dem Stadtmuseum sowie dem Deutschen Medizinhistorischen Museum bereits einige bedeutende Museen. Die Stadt erkannte die einmalige Chance, durch den Aufbau einer Sammlung, die sich auf eine bestimmte Richtung der Kunst des 20. Jahrhunderts konzentrierte, einen weiteren Akzent zu setzen und einen besonderen Platz in der deutschen Museumslandschaft einzunehmen. Der Ankauf konnte durch die großzügige Unterstützung von Industrie und Handwerk sowie durch zahlreiche Spenden der Ingolstädter Bürgerschaft realisiert werden. 1992 wurde das Museum für Konkrete Kunst in seinen heutigen Räumen in einem ehemaligen Kasernengebäude aus dem 18. Jahrhundert eröffnet. Die architektonische Gestaltung der Münchner Architekten Claus und Forster wurde 1993 mit dem Preis des Bundes Deutscher Architekten ausgezeichnet.

Während der Bemühungen um den Erwerb der Sammlung sowie um den Bau eines eigenen Museums war die besondere Nähe zum Design ein wichtiges, oft wiederholtes Argument, das die Ansiedlung eines Museums Konkreter Kunst in einer Industrie- und Automobilstadt wie Ingolstadt besonders sinnvoll erscheinen lässt. Dieses enge Verhältnis von Konkreter Kunst und Design spiegelt sich auch im Programm des Hauses wider, das neben der Konkreten Kunst auch Aspekte der angewandten Kunst in regelmäßigen Ausstellungen beleuchtet.

Die eigene Sammlung des Museums für Konkrete Kunst wird um zahlreiche Leihgaben von Sammlern aus dem In- und Ausland ergänzt.