Vrh kopastega griča (508 m) nad Višnjo Goro so gospodje Višnjegorski, veja znamenite rodbine savinjskih grofov Breže-Selških, ki so se v naše kraje preselili z gradu Puchs v Avstriji in postali najmogočnejši fevdalci na Kranjskem, verjetno že konec 11. stoletja pozidali grad Višnjo Goro (Weichselburg). Krški fevdniki grofje Višnjegorski, leta 1146 so ustanovili cistercijanski samostan v Stični, so omenjeni že leta 1136 (nobiles Heinricus, Dietricus in Megenhalmus), grof Meginhalmus de Wisilperc leta 1152, grof (comes) Albert de Wihssilburch pa leta 1177 in 1209. Grad je izrecno omenjen leta 1154 kot castellum Wichselberg, leta 1250 pa kot castrum Wiselberch. Grad so upravljali grofovi vitezi, ki so se imenovali po Višnji Gori (že 1152 sta omenjena brata Rudiger in Winther, leta 1207 Harlung Višnjegorski). Višnjo goro so dedovali grofje Andechsi, za njimi vojvode Babenberžani in Spanheimi, v drugi polovici 13. stoletja pa je pripadel goriškim grofom. Grad so takrat upravljali gradiščani, večinoma iz rodu Auerspergov ali njihovih stranskih vej (leta 1297 je omenjen vitez Kuno, med letoma 1324 in 1349 Maynhardus in Herrandus de Weysilberch iz rodbine Turjaških, leta 1356 oglejski vazal Rodolfus Seyczer de Wichselberch, leta 1366 Jurslein von Weyxelberch). Najimenitnejši iz prvotne rodbine je grof Albert Višnjegorski, med drugim udeleženec tretje križarske vojne, ki je pred letom 1200 s svojimi četami priključil ozemlje današnje Bele krajine deželi Kranjski. Grad je bil nato od srede 14. stoletja v habsburških rokah, pred letom 1386 so ga pridobili grofje Celjski, ki so ga to leto prodali Ortenburžanom, najkasneje leta 1418 pa je Višnja Gora zopet prešla v celjske roke. Takrat so grad upravljali kastelani, med njimi je leta 1364 omenjen Hans Vaisst, med letoma 1385 in 1409 Gregor Gumpler s Kompolja pri Blagovici, leta 1443 pa Gašper Melcz. Po letu 1456 je Višnja Gora prešla k Habsburžanom, ki so jo zastavljali različnim plemiškim rodbinam. Med zastavnimi gospodi, najemniki in lastniki so omenjeni baron Jurij Egkh (leta 1507), graščaki z Vrhkrke pl. Scharffi (sredi 16. stoletja), grof Jurij Khiesl (od leta 1573; takrat je bil njegov upravnik gospostva Mihael Pleskovič), po letu 1595 Adam pl. Moscon, leta 1631 pa je Višnjo goro kupil grof Ditrih Auersperg. Stari grad je propadel v 18. stoletju, zato so Turjačani v dolini pod grajskim gričem pozidali novo grajsko poslopje. Od nekdaj mogočnega sedeža višnjegorskih grofov s trinadstropnim obrambnim stolpom in dvonadstropnim palacijem ter drugimi objekti, ki jih je kasneje obdalo renesančno obzidje s stolpi, je danes še najbolj ohranjena razvalina v gotski dobi prezidanega romanskega stolpa s trinajst metrov dolgimi stranicami in skoraj dva metra debelimi zidovi, v kateri je več gotskih svetlobnih lin. Druge grajske stavbe so razsute, deloma ohranjen pa je tudi utrjeni renesančni vhod v grajsko predgradje. Do razvalin nas pripelje še ohranjena grajska pot.