Na strmi skalni kopi nad rečico Bistrico pri vasi Pilštanj severozahodno od Kozjega so krški škofje v začetku 12. stoletja pozidali grad Pilštanj (Peilenstein), ki so ga do srede 13. stoletja upravljali njihovi ministeriali pilštanjski vitezi. Leta 1158 je omenjen vitez Ernest de Bilenstein (leta 1171 Popon Pilštanjski, leta 1173 Bernhard, leta 1189 Sigmar, leta 1197 Waltfried, leta 1200 Oton, leta 1203 Gotpoldus s sinovoma Henrikom in Hermanom, leta 1228 Heinricus, leta 1256 pa zadnji pilštajnski vitez Raspo), grad pa leta 1185 kot castrum de Pilstain (nato še leta 1186 - castrum Pylstein, leta 1348 - vest Peilstain, leta 1458 - geslos Peilenstain in leta 1466 - gesloss Payllenstain). Kot kastelani so nato omenjeni Henrik Rasp (med letoma 1256 in 1264), vitezi Prežinski (med letoma 1279 in 1286 je omenjen Wulfing Pressinger), leta 1287 ga je Seifrid s Šaleka zastavil krškemu škofu, konec 13. stoletja pa so bili kastelani vitezi Lindeški (Valter, Ortolf in Wulfing). Za njimi srečamo na Pilštanju viteze Lozniške (leta 1348 je omenjen Perchtold Losnitzer), Hansa s Ploštanja (1380) in Eberharda Golientza (1404). Leta 1492 je Pilštajn dobil v krški fevd Andrej Višprijski, leta 1501 Lorenz Bonhomo, nato David Gall (po letu 1513), leta 1546 je omenjen oskrbnik Krištof Wildensteiner, leta 1552 Hans Treuner, leta 1573 pa vitez Grafensteiner. Leta 1515 so grad zavzeli in oplenili uporni kmetje, med puntom 1573 pa mu niso mogli do živega, saj ga je razpadajočega krški škof Urban Saegsterrer tri leta pred tem renesančno prezidal (o tem priča plošča, vzidana v cerkveno pročelje). Od leta 1629 do 1672 so bili lastniki gospoščine baroni Reisingi (že leta 1617 ga je imel v najemu Jurij pl. Reising), nato pa sorodniki baroni Wintershofni, ki so posest združili s Kozjim, grad pa konec 18. stoletja pustili propasti. Na ploščadi vrh grebena so nad prepadom pozidali dvonadstropni romanski palacij in ga zavarovali z visokim obzidjem in obrambnim jarkom. Vhod v grad sta varovala dva večnadstropna četverokotna stolpa, ki se jima je v renesansi pridružila še samostojno stoječa bastija. Takrat so na obzidje verjetno prizidali tudi pomožna poslopja. Danes so vidne le skromne razvaline gradu, iz njegovega kamenja pa so zrasle trške hiše in župnijska cerkev. O grajskem jedru priča ozek in podolgovat plato ter nekaj kamenja, ohranjen pa je še del nekdanjega obzidja, deloma tudi obrambni jarek na zahodni strani.