Rat je vrlo lako mogao značiti definitivan kraj za klub. Najveći broj igrača je napustio klub tražeći spas u inostranstvu. Mnogi od njih su tamo ostvarili vrlo uspješne karijere, a neki su postali reprezentativci, i to različitih država. Stadion Grbavica se nalazio na prvoj liniji fronta i već u prvim mjesecima rata je gotovo u potpunosti izgorio. Zajedno sa drvenom zapadnom tribinom, plamen je progutao vrijednu dokumentaciju kluba, a mnogobrojni trofeji i obilježja su zauvijek nestali. Sačuvano je vrlo malo toga, uglavnom ono što se nalazilo po prostorijama koje su se nalazile u drugim dijelovima grada.
Generalno, klub je bio na ivici gašenja. Ponegdje su se i spominjale takve zlonamjerne ideje. Moglo bi se reći da klub u svojoj osamdeset godina dugoj historiji nije bio u težoj situaciju. Sa ovim se ne može mjeriti nijedna prepreka na koju se ranije nailazilo, pa skoro da čak ni gašenje za vrijeme Drugog svjetskog rata nije bilo tako okrutno prema ovom klubu. Međutim, sve ono što raznim neprijateljima nije uspjelo ranije, nije moglo ni sada. U tim teškim vremenima, zaljubljenici u plavu boju su, čim se situacija koliko-toliko razjasnila, odlučili da po svaku cijenu održe Željezničar. Mišo Smajlović, Edin Sprečo, Josip Bukal, Vasilije Radović, Boris Bračulj, Hajrudin Đurbuzović, Jusuf Šehović, Esad Ibrahimović, Josip Jurišić, Zdenko Jelić, Hajrudin Čengić i nekolicina drugih pojedinaca su najzaslužniji za opstanak kluba. Igrači su bili članovi Armije BiH, igrao se samo mali fudbal, a treniralo se u školskim salama između odlazaka na prve linije. Ljubav prema klubu je jednostavno bila isuviše jaka.
U jeku rata, klub je učestvovao i na prvom bh. prvenstvu. I pored gotovo nemogućih uslova za rad, Željezničar je osvojio prvo mjesto na jednom od kvalifikacionih turnira, odigranom u Sarajevu za vrijeme jednog od rijetkih potpisanih “primirja”. To nam je osiguralo nastup na završnici prvenstva u Zenici. Iako smo osvojili četvrto mjesto od isto toliko timova, samo učešće je bilo najveća pobjeda. Bio je to dokaz da ni ovaj put, kao ni mnogo puta do tada, Željezničar ne može biti uništen.
Potpisivanjem Mirovnog sporazuma u Daytonu, u jesen 1995. godine su okončane ratne aktivnosti u našoj zemlji. Savez je vrlo brzo organizovao ligaško takmičenje u koje je, naravno, uključen i Željezničar. Nažalost, veliki broj iskusnijih igrača je napustio državu i klub, tražeći bolje uslove u inostranstvu. Zbog toga je Željezničar u prvu bh. ligašku sezonu ušao sa velikim brojem mladih igrača. Golobradi mladići, još uvijek juniori, iznenada su stekli priliku da igraju u prvoj ligi jedne države. Uprkos potencijalu koji su imali (i koji će tek pokazati u godinama koje su dolazile), iskusniji timovi, uz to i daleko manje pogođeni ratom, su se pokazali prejakim. Ubjedljivi porazi su postali svakodnevnica i nakon nekoliko kola je izgledalo da je opstanak nemoguć. Uz to, klub faktički nije igrao domaće utakmice, jer je stadion na Grbavici još uvijek bio nepristupačan.
FK Željezničar – FK Sarajevo 1:1
Sve će krenuti ka boljem u proljeće 1996. godine. Čitavo naselje Grbavica je u martu te godine reintegrisano i klub je konačno došao do svog stadiona. Tužno je izgledao onako uništen, zarastao u korov, prekriven ostacima granata, sa jedne strane čak i u dodiru sa miniranim područjem. Ipak, entuzijazam zaljubljenika u plavu boju je ponovo došao do izražaja. Stadion je, koliko je to bilo moguće, očišćen i već 2. maja 1996. godine je na njemu odigrana utakmica. Bio je to gradski derbi sa Sarajevom. Konačan rezultat je bio neriješen (1:1), ali je to za klub predstavljalo još jednu, i to puno važniju pobjedu. U proljetnom dijelu te sezone, u tim se iz inostranstva vratilo nekoliko iskusnijih igrača i Željezničar je na kraju došao do pozicije u sredini tabele.
Spomenuti mladi igrači su postepeno skupljali utakmice i prijeko potrebno iskustvo. U sezoni 1996/1997 su prvi put pokazali da se od njih može očekivati više. U prvenstvu se nije uspjelo postići više od sedmog mjesta, no Željezničar je prvi put stigao do finala Kupa BiH. Nažalost, poraženi smo od gradskog rivala Sarajeva. Kada smo u narednu sezonu ušli jači za još nekoliko iskusnijih igrača, navijači su s pravom očekivali više. Međutim, ono što je postignuto nisu očekivali ni najveći optimisti.
Jesenji dio sezone 1997/1998 nije dao naslutiti pozitivan ravoj događaja. Rezultati su bili prilično loši. Nezadovoljavajuće deseto mjesto nije moglo zadovoljiti apetite vjernih navijača. Poslije zimske pauze će se sve promijeniti. U toku pauze je za šefa stručnog štaba imenovan Enver Hadžiabdić. Uz to i još malo dodatnog iskustva igrača, na terenu su se počele redati pobjede. Sjajna serija rezultata je podizala plasman kluba iz kolo u kolo, no vrh je još bio daleko jer su Bosna iz Visokog i Čelik tada dominirali ligom. U to vrijeme su se u BiH igrala tri odvojena takmičenja i UEFA je pokušavala privoliti njihove čelnike da naprave barem zajedničku završnicu, ako se već ne mogu dogovoriti oko zajedničke lige. Takav dogovor je na kraju i postignut pa su na kraju zajedničku završnicu odigrali klubovi koji su se takmičili pod okriljem NSBiH i NSHB. Predstavnici RS su uporno odbijali bilo kakvu priču o zajedničkim takmičenjima. Inače, UEFA je ovim dogovorom uslovljavala nastupe bh. klubova u evropskim takmičenjima.
Dogovor je predvidio formiranje dvije grupe od po tri kluba, jednu u Sarajevu, drugu u Mostaru, pri čemu će četiri predstavnika dati liga organizovana od strane NSBiH. To je značilo da Željezničar mora biti plasiran među prva četiri tima kako bi se plasirao u play-off. Tako je i bilo, a dodatni podstrek je bila činjenica da će se igrati pred sarajevskom publikom na Koševu. Vođeni pozitivnom atmosferom i ohrabreni odličnim rezultatima, naši momci su savladali Bosnu i Zrinjski. Naročito je dramatična bila druga utakmica protiv Zrinjskog. Pobjeda je značila sigurno prvo mjesto i pritisak je bio veliki. Zrinjski se pokazao kao vrlo čvrsta ekipa. Sve do posljednjih trenutaka je bilo neriješeno 1:1. Na našu veliku radost, tada je Zubanović pogodio za veliko slavlje i plasman u finale.
Tamo smo se susreli s našim gradskim rivalom. Bio je 5. juni, finale kakvo je javnost samo mogla poželjeti jer je stadion Koševo bio pun, navijači su priredili spektakl, a ni igra na terenu nije bila loša. Mora se priznati, Sarajevo je dominiralo većim dijelom utakmice, a Željezničar je prikazao možda i najlošiju igru tog proljeća. Neigranje kapitena Muharemovića se itekako osjetilo. No, i pored toga, bila je to sezona u kojoj je sve bilo kako smo mi to željeli. Minute su odmicale i činilo se da će utakmica završiti bez golova. Uslijedilo je nešto što će se trajno urezati u pamćenja skorijih generacija navijača. U jeku napada Sarajeva, Pehlivanović je na lijevoj strani stigao jednu loptu koja je išla u aut. Izbijena lopta je stigla do Šopovića koji je izvrsno proslijedio u prazan prostor za inače desnokrilnog ofanzivca Hadisa Zubanovića. Zubanović je zaobišao protivničkog golmana i pogodio za neopisivu radost Željinih navijača. Te večeri je ispisana jedna od najljepših stranica klupske historije. Željezničar je osvojio prvu titulu šampiona Bosne i Hercegovine. Posebnu težinu ovom uspjehu dala je činjenica da su tim, uglavnom, činili vlastiti igrači, i to mahom isti oni koji su kao golobradi mladići igrali i prvu bh. ligašku sezonu.
