Na hribu nad široko dolino reke Reke južno od Pivke je grad Prem (Bremb) dolga stoletja obvladoval staro tovorniško pot, ki je povezovala deželo Kranjsko z Reko in Jadranskim morjem. Na grajskem griču je bilo v starem veku stalno taborišče, postavljeno za okrepitev velike rimske obrambne zapore, kar so potrdila arheološka izkopavanja. Po propadu rimskega imperija so germanska plemena, ki so zasedla to ozemlje, uporabljala castrum za svojo utrdbo. Star zapis govori, da je bila na Premu v 11. stoletju vojaška posadka istrskega mejnega grofa krajišnika, šele dvesto let pozneje pa zasledimo prvi zapis o gradu in premskih vitezih (leta 1213 je omenjen vitez Udo de Prem). Prem je bil last oglejskega patriarha, vendar so ga v fevdu imeli gospodje Devinski in grofje Goriški (leta 1217 je v spremstvu goriškega grofa omenjen premski ministerial Hainricus de Prem, brat Hugona Devinskega, leta 1341 pa Herbordo de Prem). Iz tega obdobja izvira prvotno grajsko poslopje, romanski stolp s kapelo in dvonadstropni palacij, ki sta bila obdana z visokim in zelo debelim obzidjem, dodatno zavarovana pa z globokim obrambnim jarkom, prek katerega je v grad vodil dvižni most. Grad je bil s treh strani zavarovan z naravno strmino nad okljukom reke Reke. Leta 1304 se je Hugon Devinski v premskem gradu več tednov upiral napadom močnih vojaških oddelkov, ki jih je vodil sam goriški grof Albert, vendar je klonil pred sovražnikovo premočjo. Gospoščina je sicer kmalu prešla nazaj v devinske roke, vendar pa so jo po letu 1399 upravljali sorodniki Devinskih grofje Walsee že kot goriški fevdniki. V 15. stoletju (leta 1483) so Habsburžani podedovali vse goriške posesti in Prem podelili v fevd najprej Oberburgom (leta 1498 je omenjen Volbank Oberburg), nato pa pl. Hallerjem in leta 1521 toskanskim plemičem Raunachom, kasnejšim cesarskim baronom in grofom (leta 1521 ga je v zastavo dobil Bernardin pl. Raunach). Raunachi so na Premu gospodovali več kot sto let, nato pa so ga dali za doto knezu Janezu Ferdinandu Porzii, prvemu ministru cesarja Leopolda I. Knezi Porzia so prezidali grajsko poslopje, letnica 1645 na vhodnem portalu v južnem obzidju verjetno priča o predelavi gradu, marmorna plošča s kronogramom iz leta 1717 pa o začetku baročne preobleke gradu. Iz tega časa izvirajo loggia, predelano dvorišče z baročnimi arkadami in poslikanimi hodniki, grajski vodnjak in slavnostna (viteška) dvorana, med obema svetovnima vojnama poslikana z mitološkimi prizori. Tako danes lahko občudujemo romanske, kot gotske, renesančne in baročne sestavine premskega gradu. Na najvišji točki griča stoji dvotraktni dvonadstropni palacij, ki s cinastim obzidjem okvirja majhno notranje dvorišče, vhod skozi kamnit portal z grbovno ploščo v zunanjem obzidju varuje okrogli obrambni stolp, na zunanjem dvorišču pa so pod rušo temelji nekdanjih grajskih pomožnih poslopij. Med letoma 1810 in 1820 je v gradu bival okrajni komisar in sodnik Matej Lavrič. V minulem stoletju so knezi Porzia spremenili Prem v lovsko rezidenco, leta 1906 pa grad prodali Karlu Lenassiju, kuratu v Nadanjem selu. Nato ga je podedovala njegova nečakinja Ana Biščak (leta 1914), od nje pa je Prem kupil zdravnik Zuccolin iz Trsta. Pred leti obnovljena grajska stavba je bila po drugi svetovni vojni nacionalizirana.