V veduti trga Lož, prvotnega središča Loške doline, še vedno gospodujejo razvaline starega gradu Lož (Laas). Na 698 metrov visokem griču Grad nad trgom so ga sredi 12. stoletja pozidali oglejski patriarhi, v fevdu pa so ga imeli grofje Vovbrški, za njimi do leta 1244 njihovi sorodniki grofje Sternbergi iz Strmca (grad med Osojskim in Vrbskim jezerom), ki so se po Ložu imenovali tudi Laaserji (leta 1237 je omenjen grof Ulrik Sternberški iz Loža). Leta 1220 so v zgodovinski listini omenjeni kastelani Herbordus in Albert de Los z bratoma Karlom in Rupertom ter gospod (dominus) Walchon de Los, grad pa izrecno šele 1244. leta kot schloss Laas (to leto tudi kot castrum Los, med letoma 1218 in 1251 je omenjen kot castellum Lossi, leta 1293 kot castrum Los, okoli leta 1300 kot turris et castrum de Los, leta 1306 kot castrum de Los, leta 1341, 1342 in 1355 kot vest Los, leta 1457 kot gslos Loos oz. gesloss Laas). Po gradu so se imenovali ministeriali, veja tega rodu je upravljala tudi Snežnik, se imenovala po njem ali pa po seliščih v Podložu, Pudobu in Bregu. Viri omenjajo leta 1224 viteza Hermana, med letoma 1230 in 1240 srečamo gospoda Johannesa, leta 1230 vovbrške viteze Weriandusa, Markvarda, Karla in Roberta, leta 1244 Karla in Herborda iz Loža, leta 1260 Markvarda in Herborda, leta 1269 patriarhovega gastalda Carolusa, leta 1278 Hermana, patriarhovega gastalda v Ložu (Los), leta 1282 Arusca in Hermana iz Loža, leta 1296 viteza Majnharda, leta 1299 je omenjen Pangratius, miles de Los, ki je varoval stolp in grad v Ložu, leta 1300 Antimold, sin Razigoya de Los, leta 1332 pa nastopajo v virih Konrad, Piers in Wolfrad iz Loža oz. Snežnika ter njihov stric Nikolaj Sommerecker. Grad so po Vovbrških imeli v oglejskem fevdu grofje Ortenburški, za njimi grofje Celjski in končno deželni knezi, Habsburžani. Med letoma 1306 in 1308 je Lož protipravno zasedel goriški grof Henrik, zato je patriarh grad podelil v fevd kranjskemu deželnemu glavarju grofu Majnhardu Ortenburškemu, ki pa ga je okoli leta 1327 poskušal alodizirati. Leta 1337 so bili loški ministeriali sorodniki Snežniških bratje Ditrik, Herman in Jurij iz Werdensteina na Koroškem, ki so pet let pozneje prodali Lož grofom Ortenburškim. Leta 1343 je grad za krajši čas zasedel Hans s Šteberka. Konec 14. stoletja (omenjen leta 1399) je bil kastelan Benedikt Wernegkh, pred njim pa leta 1393 Heinrich von Czobelsperg s Čušperka. Ko je bil v posesti Celjanov, so ga leta 1439 (takrat je bil kastelan Boltežar Laaser) zasedle cesarske čete in ga požgale. Kot poroča Celjska kronika, je enega od cesarskih poveljnikov, viteza Krištofa Smledniškega, med obleganjem "potolkel neki čevljar". Grad so kmalu obnovili, saj že leta 1441 srečamo loškega gradiščana Boltežarja Lambergerja, leta 1457 deželnoknežjega oskrbnika Martina Schnitzenbaumerja (ta je bil na Ložu že leta 1435 kot celjski kastelan), leta 1460 pa zakupnika Hermana Rauberja. Leta 1461 naj bi Lož od Rauberja odkupil tržaški škof Antonio de Goppo. V 16. stoletju so se kot lastniki gradu in gospoščine zvrstili Karel Jurij pl. Hoeffer (od leta 1574), Erazem Borsche, Franz Scheyer, brata Krištof in Franc pl. Moscon (od leta 1588 do 1603), grof Wolf Paradeiser (od 1613), Janez Krištof pl. Cronegkh, od leta 1627 so bili solastniki pl. Coraduzzi in baroni Hallerji, dokler ni Loža leta 1635 kupil knez Janez Anton Eggenberg, sedež loškega gospostva prenesel na grad Snežnik, grad Lož pa pustil razpasti. Leta 1669 je gospoščine Lož, Snežnik in Postojno kupil grof Janez Vajkard Auersperg. Grad je kmalu propadel in ga je Valvasor upodobil kot mogočno razvalino. V razsežnem grajskem kompleksu se vrh kope dviguje razvaljeno grajsko romansko jedro, ki sta ga sredi 12. stoletja sestavljala obzidana pravokotni palacij in mogočen obrambni stolp (bergfried), danes pa so od vse te zasnove ohranjene razvaline obrambnega stolpa, medtem ko je palacij popolnoma razsut. Grajsko jedro še vedno obdaja dobro ohranjeno visoko renesančno obzidje in globok obrambni jarek. Razvaljeni stolp je prava paša za oči, saj so ga starodavni stavbarji pozidali iz lepo obklesanih kvadrov, postavljenih v ravne vrste, ki jih označujejo malo večji klesanci na vogalih ("šivani" vogali). Stolp je pravi šolski primer zidave v razviti romanski dobi, prav tako tudi ohranjene svetlobne (strelne) line. Ohranjena je tudi strma grajska pot, ki vijuga iz trga na vrh grajskega griča.