Den Grundstein für das Museum legte die 1876 eröffnete "Vorbildersammlung", bald Gewerbemuseum genannt. Zu ihren Gründern zählten voran die Gmünder Fabrikanten Hermann Bauer (1833-1919) und Julius Erhard (1820-1898), die auf der Wiener Weitausteilung 1873 „die Beobachtung machen mussten, dass die deutsche Kunstindustrie im Vergleich mit anderen Staaten sehr zurückstand". Eine großzügige Schenkung der Privatsammlung des Fabrikanten Julius Erhard mit zahlreichen Skulpturen, Malereien, Silbergerät und Schmuck aus dem regionalen und internationalen Umfeld erweiterte die Sammlung im Jahre 1890 erheblich. Erhard knüpfte an die Schenkung nur die Bedingung, „dass dieser Sammlung eine ihrem Wert entsprechende Aufstellung und Riege gesichert bleibt und dass der Allgemeinheit regelmäßig Besuchsmöglichkeit geboten wird". 1900 kam die mehr als 1000 Blätter umfassende „Bilderchronik" hinzu; sie ergänzt den grafischen Bestand der Sammlung mit mittelalterlichen Büchern und Holzschnitten (u.a. von Hans-Baldung-Grien), Plänen und Zeichnungen des 18. Jahrhunderts, Aquarellen und Stichen des 19. Jahrhunderts sowie frühen Fotografien. Hinzu kamen Schenkungen und Übergaben von Nachlässen, und bereits um das Jahr 1900 waren die wichtigsten Sammlungsschwerpunkte für ein kommunales Kunstgewerbemuseum fixiert.
Neben der kunstgewerblichen Vorbildersammlung wurde das Museum auch bald Anlaufstelle für die Aufbewahrung und Stiftung kirchlicher Güter, insbesondere aus Gmünder Klöstern und Kirchen, darunter vor allem Altäre, Kultgerät, Bibelwerke, Druckgrafik, Skulptur und Malerei. Glanzpunkte sind heute vor allem die Kirchenschätze des Heilig-Kreuz-Münsters, der Franziskuskirche und der Spitalkirche.
Im Verlauf der der zurückliegenden Jahre wurden die Bestände immer wieder durch gezielte Ankäufe sinnvoll ergänzt und erfuhren auch durch Stiftungen und Schenkungen von Privatpersonen fruchtbaren Zuwachs.
Seit 1973 befindet sich das Museum im ehemaligen Dominikanerkloster „Prediger".