Simon van Gijn was een hartstochtelijk verzamelaar met een brede belangstelling: van prenten, wapens en schepen tot meubels, zilver, keramiek, speelgoed. Alles interesseerde hem en alles wat hij kocht kreeg een plaats in zijn huis. Maar niet álles wat in het museum of in het depot wordt bewaard, is afkomstig van Van Gijn zelf. Zijn verzamelingen zijn samengevoegd met die van de Vereniging Oud-Dordrecht. Ook later is de collectie dankzij schenkingen, legaten en aankopen steeds blijven groeien.