Dominikanci so na Ptuju ustanovili svoj samostan že leta 1230 in ga imeli do leta 1785, ko jim ga je cesar Jožef II. ukinil. Potem pa se je začelo v njegovih prostorih vrteti vse, kar je tja sodilo ali ne. Bil je vojaški zapor med francoskimi vojnami, bolnišnica, cerkev, skladišče in še kaj. V njem je bila skoraj stoletje ptujska vojašnica in vojaška logika in prisotnost sta v prostorih med leti 1826 in 1923 pustili precej sledov. Ko so vojašnico preselili v Varaždin, so samostanski kompleks prodali beograjskemu odvetniku, ki je v njem nameraval urediti tovarno svile, vendar mu to ni uspelo in je po petih letih samostan prodal ptujski občini, ta pa je vanj naselila stanovalce in ga del namenila za muzejsko društvo, ki je vanj postopoma prenašalo muzejske zbirke.