Het museum is gevestigd in de voormalige atelierwoning van Ton Smits (1921-1981), een wereldberoemde cartoonist die ook grote bekendheid verwierf in Amerika met zijn summiere tekenstijl. Het opvallende en karakteristieke huis, ontworpen door Fons Vermeulen, werd in 1956 gebouwd en is vrolijk blauw, wit en roze gekleurd. Het huis wordt nog bewoond door de weduwe van Ton Smits. Er is een permanente tentoonstelling te zien van zijn cartoons en sprookjesachtige schilderijen. Daarnaast zijn er wisselende tentoonstellingen rondom zijn cartoons.