Kao i mnogo puta do sada, svaka nova nevolja u kojoj se Željezničar našao, bila je podstrek za još veće korake. Inat ovog kluba se već prije iskazao kroz stalno izdizanje iznad najraznovrsnijih prepreka, kako onih uobičajenih na koje svi klubovi nailaze, tako i raznih podmetanja. Ovaj put je bilo ovo prvo. Nagla smjena generacija i nemogućnost adekvatne zamjene nekih odličnih igrača je dovela do novog ispadanja u Drugu saveznu ligu. Međutim, to je prihvaćeno kao realnost konkretnog momenta i kao podstrek za novi iskorak naprijed. Strukture kluba su se vrlo brzo organizovale i sve je pripremljeno za ekspresni povratak u društvo najboljih. Poslije duge sezone, u kojoj su i navijači sa velikom posjetom pokazali koliko im znači njihov klub, Željezničar je ubjedljivo došao do prvog mjesta i povratka u prvoligaško takmičenje.

Tim je kroz Drugu ligu vodio Mostarac Sulejman Rebac. Međutim, nakon povratka u Prvu saveznu ligu, uprava je odlučila napraviti zaokret. Bio je to zaokret koji će se pokazati kao pun pogodak. Naime, imenovan je novi stručni štab, na čijem čelu je bio bivši proslavljeni igrač ovog kluba Ivica Osim. Za njegove pomoćnike su, također, imenovani bivši asovi Mišo Smajlović, Boris Bračulj i Velija Bećirspahić. Sa ovim stručnim štabom, Željezničar je promijenio pristup igri, a u prvim sezonama nakon povratka su ostvareni solidni rezultati. Solidni zbog toga što je to bio tim u nastajanju, ispunjen igračima iz vlastitog omladinskog pogona. Mnogi od njih su bili članovi mladih reprezentativnih selekcija, s tim da ih je u budućnosti čekalo mnogo više.

U posebnom sjećanju će ostati sezona 1980/1981. Iako prvenstveni rezultati nisu bili sjajni, Željezničar je prvi put u historiji stigao do finala kup takmičenja. Kup Jugoslavije je bio izuzetno cijenjeno takmičenje, a u toj sezoni su se u finalu našla dva bh. kluba – Željezničar i Velež. Hiljade navijača su došle u Beograd na finalnu utakmicu. U veličanstvenom ambijentu i u jednoj odličnoj utakmici, tog 24. maja 1981. godine su Mostarci bili uspješniji sa 3:2. Nakon osvojene titule šampiona 1972. godine, bio je ovo drugi najveći uspjeh “plavih” sa Grbavice.

Finale kupa Željezničar – Velež 1981.
U poluvremenu finalnog susreta šef stručnog štaba Ivica Osim u razgovoru sa fudbalerima

Bio je to nagovještaj dobrih vremena koja su bila pred ovim timom. Već u narednoj sezoni je osvojeno peto mjesto na prvenstvenoj tabeli. Ipak, u sezoni 1983/1984 je napravljen još jedan iskorak. U tada zvanično četvrtoj ligi Evrope, Željezničar je osvojio treće mjesto sa samo dva boda zaostatka za prvoplasiranom Crvenom zvezdom. Ovaj plasman je klubu obezbijedio nastup u Kupu UEFA, prvi put nakon više od deset godina.

Kup UEFA je tradicionalno bio izuzetno jako takmičenje. U sezoni 1984/1985 su tu naatupali timovi kao što su Real Madrid, Ajax, Atlético Madrid, Manchester United, Tottenham Hotspur, Nottingham Forest, Inter Milano, Fiorentina, PSV, Hamburg, Borussia Mönchengladbach, Werder Bremen, Köln, Monaco, PSG, Real Betis, Anderlecht, Spartak Moskva, Sporting, Olympiakós, Auxerre i drugi. U takvoj konkurenciji, Željezničar je ostvario najveći evropskih uspjeh bilo kojeg bh. kluba. Redom su padali bugarski Sliven (0:1, 5:1), švicarski Sion (2:1, 1:1), rumunska Universitatea Craiova (0:2, 4:0) i sovjetski Dinamo Minsk (2:0, 1:1). Plasirali smo se u polufinale. Ostali predstavnici jugoslovenskog fudbala su ispali u ranijim fazama i sada su simpatije čitave države bile na našoj strani. Žrijeb nam je, barem se tako činilo u tom momentu, bio naklonjen. Jedan par su činili velikani Real Madrid i milanski Inter, dok je nama predstojao dvomeč sa neugodnom mađarskom ekipom Videoton. Da nije riječ o lošem timu, dokaz je i činjenica da su prethodno iz takmičenja izbacili PSG, Partizan i Manchester United.

Željezničar - Videoton
Stadion Grbavica: Željezničar – Videoton

Prva utakmica je igrana u Székesfehérváru. Poraz od 3:1 nije bio ugodan, no dobre igre na Grbavici do tada su davale nadu za plasman u finale. U dobroj atmosferi i uz vjeru u prolaz, dočekan je revanš. Krenulo je odlično. Željezničar je igrao dobro, pogotkom Edina Bahtića (najboljeg strijelca Kupa UEFA za tu sezonu) smo poveli sa 1:0. Dobra igra se nastavila i poslije toga. Naši igrači su imali nekoliko odličnih prilika za gol. Kada je u drugom poluvremenu Ćurić postigao gol za potrebnih 2:0, navijači Željezničara su već vidjeli svoj tim u finalu. Međutim, jedna neopreznost na našoj lijevoj strani u posljednjim minutama utakmice je skupo plaćena. Primili smo gol, a najglasniji muk u historiji stadiona Grbavica je zavladao tribinama. Nevjerica i neizmjerna tuga su obilježili kraj ove, iz današnje perspektive, nestvarne priče. Ostaje za pamćenje veliki rezultat, kao i to da je propuštena velika šansa za super finale sa madridskim Realom. Propuštena je šansa za spekakularan rezultat, mada se i samo polufinale jednog evropskog kupa danas može smatrati nevjerovatnim uspjehom nekog bh. kluba.

Nastup u Kupu UEFA se odrazio i na domaće prvenstvo. Uprkos tome što je tim po kvalitetu igrača kojima je raspolagao svakako mogao više, na kraju je u toj sezoni zauzeto sedmo mjesto, što nije bilo dovoljno za novi plasman u Evropu. No, svejedno, treba zapamtiti da su tu ekipu činili: Dragan Škrba, Mirsad Baljić, Josip Čilić, Branislav Berjan, Refik Šabanadžović, Vlado Komšić, Mehmed Baždarević, Zoran Samardžija, Edin Ćurić, Edin Bahtić, Radmilo Mihajlović, Haris Škoro, Vlado Čapljić, Nikola Nikić, Milomir Odović i drugi.