Grad Svibno (Scharffenberg), pozidan na skalnatem prepadnem hribu (kota 643 m) nad dolino Sopote zahodno od Radeč, je bil sedež mogočne rodbine svibenskih gospodov Ostrovrharjev, ki so v zgodovinskih virih prvič omenjeni med letoma 1169 in 1175 (Chunrat de Scharphenberch), sam grad posredno že leta 1169 kot Scharffenberg, izrecno pa šele leta 1327 (vest Scherffenberch). Grad je leta 1372 omenjen kot trdnjava (vest Scherfenberch) in grad (haws), leta 1499 pa kot geschloss. Pozidali so ga vojvode Spanheimi verjetno že v prvi polovici 12. stoletja, upravljali pa njihovi fevdniki, gospodje Schaerffenbergi. Ozemlje je bilo sprva last savinjskih grofov, nato so ga pridobili sorodniki svobodni gospodje Vojniški, z ženitvijo s hčerko Liupolda Hochenegga pa eden od Svibenskih. Naselje pod gradom je že zgodaj dobilo trške pravice in bilo eno med redkimi dolenjskimi trgi, tu je bil sedež deželnega sodišča in okraja. Cerkev sv. Križa, sprva lastniška cerkev svibenskih gospodov, pa je bila nekdaj sedež prafare. Ostrovrharji so na Svibnem kot ministeriali ali fevdniki vojvod Spanheimov, Traungauvov in Babenberžanov, grofov Tirolskih in Habsburžanov gospodovali do konca 14. stoletja, ko so se leta 1379 preselili na mariborski grad, nato pa zapustili naše kraje in se odselili v Avstrijo. Leta 1250 so Schaerffenbergi kot sorodniki mogočnih gospodov Ptujskih pridobili Planino pri Sevnici, leta 1265 Podsredo, na teh gradovih so ustanovili stranski rodbinski veji, kmalu zatem pa Smlednik, Krško, Prežek, Klevevž, Lanšprež, Otočec, Kostanjevico, Stražberk in še druge gradove. Leta 1182 je omenjen gospod Henrik de Scarpfenberc, leta 1211 gospod Enuvard de Schorfenberg, leta 1246 Leopoldus de Scharphenberch, leta 1251 Henrik in žena Gebirga, leta 1272 miles Heinrici de Scherfenberg, leta 1274 Viljem in Ulrik, leta 1332 Greif in Rudolf Svibenska ter njuna strica Volker Auersperg in Janez von Strasberch, leta 1341 oglejski vazal nobilis Hertnydus de Scherphenberch, leta 1365 Joerg in Kunigunda, leta 1376 pa gospod Ulrik. Leta 1382 je svibenska gospoščina postala deželnoknežji fevd in so jo Habsburžani zastavljali ali dajali v zakup raznim plemiškim rodbinam. To leto srečamo na Svibnem celjskega fevdnika Henrika Rogaškega, leta 1384 Pavla Ramunga, nato med letoma 1403 in 1405 celjskega oskrbnika viteza Janeza Kozjaka, zatem celjske upravnike Hansa Steinsdorferja (1406), Baltazarja Horneggerja (1409), Konrada Prennerja (med letoma 1421 in 1435), Merta Črnomaljskega (1440) in Ortolfa pl. Warttenaua. Sredi 15. stoletja srečamo na Svibnem gospode Obračane s Starega gradu pri Novem mestu (1456 Peter pl. Obratschan) in od leta 1494 Andreja pl. Thurna, poznejšega lastnika Krškega in Kočevja, leta 1529 pa je Svibno po poroki z Ano Thurn priženil štajerski deželni glavar Ivan Ungnad (gospostvo je upravljal Henrik pl. Wernegkh, leta 1550 Andrej Mayr, do 1581 Jurij Kacijanar). Ta ga je petindvajset let pozneje izročil svojemu svaku Janezu Schaerffenbergu, štajerskemu deželnemu glavarju, in tako so Ostrovrharji, sicer le za četrt stoletja, ponovno prišli na svoj matični grad. Konec 16. stoletja so na Svibnem gospodovali pl. Gusiči (leta 1579 ga je prevzel Krištof Gusič z Erkenštajna), leta 1602 je bil zastavni lastnik Volf Ennstaler (Svibno je imel v najemu že leta 1595), leta 1609 je omenjen najemnik Luka Koprivnič, leta 1612 brata Krištof in Ludvik pl. Raumschuessla, leta 1620 so Svibno kupili bratje Peter, Gregor in Mihael Wazen pl. Wazenberg, nato pa so se kot lastniki gospoščine zvrstili Jurij Andrej Graffenweger (pred letom 1692), Janez Krištof Ott pl. Ottheimb, baron Jurij Krištof Kheysell (leta 1694), baronica Marija Izabela Wernegkh, baron Janez Gotfried Apfaltrer (leta 1715), od leta 1760 grof Jurij Andrej Bucelleni, dve leti pozneje pa baron Michelangelo Zois. Leta 1834 je Svibno kupil Jožef Maksimilijan Posch, leta 1847 ga je priženil baron Jožef Gall, leta 1850 ga je kupil Friderik Voll, nato pa so bili lastniki Moritz Loewenfeld (od leta 1867), Jožef Heller (1890), Maks Feledi (1892), še isto leto Jakob Fischer pl. Ankern, knez Franc Auersperg (1895), Adolf Loessl (1897), dunajski industrialec F. Schmitt (1901), Jožef Prosenc in ljubljanski župan Ivan Hribar (1902), dunajska delniška družba za papirno industrijo Leykam-Josefsthal (1904) in Združene papirnice Vevče-Goričane-Medvode (1920). Grad je bil razdejan že sredi 17. stoletja. V današnjih razvalinah je težko razbrati grajsko jedro nekdaj mogočnega obodnega gradu, ki so ga sestavljali palacij, bergfried in dve stolpasti poslopji, obdan pa je bil z renesančnim obzidjem in obrambnimi stolpiči. Cerkev sv. Križa tik pod grajskimi razvalinami je bila sprva lastniška cerkev (v 12. stoletju).