Poleg ne povsem pojasnjenih vprašanj o lastništvu se v zvezi z graščaki Čopi poraja tudi vprašanje o obstoju prvotnega gradu, ki naj bi stal kakšnih dvesto metrov stran od Čopove hiše na hribčku, imenovanem Grac. V zgodovinskih virih, kot pravi Golec, o njem ni sledu, ne omenja ga niti Valvasor, a kljub temu naj bi bili ostanki zidovja na tem mestu še po drugi vojni. V njem naj bi prebivali valpti, njegove ostanke, kamne, pa naj bi porabili pri prezidavi cerkve sv. Jurija - prvič jo omenjajo leta 1526, medtem ko naj bi sedanjo podobo po načrtu župnika Avseca dobila 1895. - oziroma pri gradnji podružnične cerkve sv. Brikcija v bližnjih Rtičah z letnico 1756. Je pa polihistor Valvasor v svoji Slavi upodobil enonadstropno stavbo z gospodarskim poslopjem ob poti k šentjurski cerkvi, ki je bila v primerjavi s skromnimi, pretežno lesenimi kmečkimi domovi v soseščini menda res videti kot prava graščina. Zgodovinar Golec zato trdi, da Valvasorjev bakrorez z motivom Podšentjurja potrjuje izročilo, po katerem je prvotni dvorec Podšentjur vzhodni del današnje Čopove hiše, medtem ko so zahodnega dozidali leta 1794. Dokaz tej tezi je lesen tram v eni od sob domačije, na katerem je izrezljana letnica 1794.