Izpad iz prve lige leta 1984 ni slutil na nič dobrega, saj so sezono kasneje nogometaši Olimpije izpadli tudi iz druge lige in v sezoni 1985/86 porazno začeli v slovenski ligi. Toda med sezono se je stanje vendarle stabiliziralo, Olimpija je končala prvenstvo kot tretja in se naslednje leto v velikem slogu vrnila v 2. zvezno nogometno ligo - zahod. V prvi sezoni enotne druge lige 1989/90 je presenetljivo osvojila prvenstvo ter se vrnila v prvo ligo. Ta sezona je mejnik tudi zato, ker se 4.9.1988 na tekmi z vinkovškim Dinamom na tribunah pojavijo zametki navijaške skupine Green Dragons, kar pomeni začetek organiziranega navijanja na nogometnih tekmah v Ljubljani. Sezono 1989/90, v kateri je za igro požela mnogo pohval, je zaključila na osmem mestu. Naslednja in obenem zadnja jugoslovanska sezona Olimpije je bila mnogo manj spektakularna, jugoslovansko ''izkušnjo'' pa končala na 14. mestu.