Poslije najvećeg međunarodnog uspjeha kluba, Ivica Osim je tim vodio još jednu sezonu. Ponovo je osvojeno sedmo mjesto u sezoni 1985/1986, a potom je Osim imenovan za selektora reprezentacije Jugoslavije. Istovremeno je klub napustilo nekoliko prvotimaca koji su otišli ili u inostranstvo ili u neke druge domaće klubove. Rezultatski iskorak je u takvim okolnostima bio nemoguć, no klub je zahvaljujući ranije postavljenim temeljima još par sezona ostvarivao rezultate dovoljne za sredinu tabele.
Na prelasku iz osamdesetih u devedesete godine prošlog vijeka su ponovo stigla teška vremena za klub. Željezničar je u sezonama 1988/1989 i 1990/1991 osvajao šesnaesto mjesto, što je bila posljednja pozicija koja je osiguravala opstanak u Prvoj saveznoj ligi. Istina, sezona između (1989/1990) je odigrana nešto bolje pa je osvojeno solidno sedmo mjesto. Iako je tim s klupe bio predvođen Mišom Smajlovićem, odlazak velikog broja igrača se očigledno nije mogao tako lako nadomjestiti. Također, i izgradnja sjeverne tribine stadiona Grbavica je iscrpila klub.
Smjena generacija je bila neminovna, ali se nije mogla uspješno izvesti “preko noći”. U omladinskim kategorijama su rasli neki novi klinci. U budućnosti će mnogi od njih napraviti zavidne karijere. Igrači kao što su Suvad Katana, Gordan Vidović, Rade Bogdanović, Mario Stanić, Elvir Baljić, Haris Alihodžić, Sead Kapetanović, Sead Halilagić i Veldin Karić ni ne trebaju posebno predstavljanje. Svi oni su kasnije igrali za respektabilne evropske klubove, a većina ih je kasnije stekla i status reprezentativca. No u tim vremenima je to bio prilično mlad tim, najmlađi u Prvoj saveznoj ligi. Stoga ne treba čuditi da je sezona 1991/1992 bila izuzetno turbulentna. Nažalost, ne samo u sportskom smislu.
U zraku se već osjećao dah rata. Hrvatska i Slovenija su već progalsile nezavisnost i klubovi iz tih republika, sada novih država, su se povukli u svoja novoosnovana takmičenja. U Prvoj saveznoj ligi su ostali klubovi iz preostale četiri republike, a među njima je bilo i pet bh. klubova. Željezničar je jesenji dio te sezone odigrao promjenjivo i bilo je izvjesno da bi svaka serija lošijih rezultata na proljeće mogla značiti borbu za opstanak. U proljeće se desilo upravo to. Nekoliko uzastopnih poraza, a onda i štrajk prvog tima su tim doveli do situacije iz koje se bilo vrlo teško izvući. Par utakmica su čak odigrali i juniori. Plasman u polufinale kupa je donekle popravljao vrlo lošu sezonu, no sve je na kraju “začinjeno” početkom ratnih aktivnosti u Sarajevu. Agresija na neke dijelove BiH je već i ranije počela, no u Sarajevu je još uvijek bilo relativno mirno. Uprkos proglašenju nezavisnosti BiH, naši klubovi su još tu sezonu planirali odigrati do kraja. Ipak, 5. aprila je sve i definitivno prekinuto. Tog dana se, između ostalih, trebala odigrati utakmica između Željezničara i beogradskog Rada na Grbavici. Dešavanja od toga dana su nam svima vrlo dobro poznata. Utakmica nikad nije odigrana, a Željezničar je na taj način završio takmičenje u jugoslovenskim takmičenjima. I ne samo to, na taj način je do daljnjeg završena bilo kakva normalna aktivnost kluba. Rat je došao, a sport u Sarajevu i čitavoj BiH je ostavljen za neka bolja vremena.