Nad zaselkom Podšteberk med vasjo Lipsenj pri Grahovem in Križno goro jugovzhodno od Cerknice samevajo na zaraščenem griču Stari grad (650 m) , pod njim izvira potok Šteberščica, razvaline gradu Šteberk (Steegberg), enega najpomembnejših oglejskih fevdov na Notranjskem. Grad je nadzoroval strateško pomembne poti na tem območju ter prehod na Kras. Znotraj izjemno razsežnega grajskega kompleksa so razvaline romanskega palacija iz 12. stoletja z ohranjeno strelno lino in konzolo, ostanki vhodnega stolpa in cisterne, pa tudi obrambnih stolpov, vpetih v renesančno obzidje. Na gradu, prvič je bil omenjen 1274. leta (Stegberch), so skoraj do konca 15. stoletja gospodovali šteberški vitezi (leta 1201 je v zgodovinskem viru omenjen vitez Fridericus), oglejski fevdniki, kasneje pa vazali devinskih gospodov in goriških grofov ter fevdniki grofov Celjskih in Habsburžanov. Med šteberskimi gospodi srečamo med letoma 1331 in 1336 viteza Wulfinga (Voluina) de Stegberch, ki je postal istrski mejni grof (oglejski glavar v Postojni in na Krasu), leta 1342 omenja oglejska listina plemenitega gospoda Janeza Šteberškega, tudi istrskega mejnega grofa, ki je živel na postojnskem gradu. Leta 1366 sta nadvojvoda Albert in Leopold zastavila Postojno Janezu Šteberškemu, katero pa je vrnil Habsburžanom čez pet let. Šteberški so konec 14. stoletja imeli tudi gradova Ljubek in Gamberk, sorodstveno pa so bili povezani z Neuhausi, Snežniškimi, Apfaltrerji (leta 1427 sta omenjena Nikolaj Šteberški in njegov stric Konrad Apfaltrer) in Rauberji. Leta 1433 sta Nikolaj in Vigilus Šteberški prodala Habsburžanom Šteberk in Gamberk, a je Nikolaj leta 1444 zopet imel Šteberk (takrat je grad prvič izrecno omenjen - Stegberg, veste mit purkchfrid, mairhof) v deželnoknežjem, habsburškem fevdu. Le dve leti zatem so Šteberški izgubili rodni grad, a so na njem še bivali, dokler niso izumrli. Zadnjega šteberškega viteza naj bi med obleganjem gradu leta 1482 ubil Erazem Predjamski, ko se je tja priklatil s svojim krdelom med roparskim pohodom. Le dve leti pozneje je Erazma doletela enaka usoda. Zatem so Habsburžani oddajali šteberško gospoščino skupaj s Planino (Hošperkom) kot deželnoknežji fevd, upravljali pa so jo upravitelji (med letoma 1466 in 1499 Boltežar Wagen). Grad so opustili v 16. stoletju (morda po katastrofalnem potresu 1511. leta), saj je Valvasor upodobil Šteberk kot mogočno razvalino, v kateri izstopa grajsko jedro, sestavljeno iz trinadstropnega palacija, verjetno višjega obrambnega stolpa (bergfrieda) in nanju prizidanih okroglih stolpov, celotno zasnovo pa obteka renesančno obzidje z obrambnimi stolpi.