Ciklusi se neprestano ponavljaju. Historija Željezničara je prožeta stalnim usponima i padovima. Iz svake krize lokomotiva sa Grbavice je izlazila još izdržljivija i jača, ali je i svaki naredni pad teže padao svim zaljubljenicima u plavu boju. Upravo to se može tvrditi za ono što je uslijedilo u ostatku prve decenije XXI vijeka.

Prve naznake pada su se mogle vidjeti u sezoni 2003/2004. Iako je na kraju ponovo osvojeno drugo mjesto, bila je to vrlo turbulentna sezona. Loš start prvenstva se ponovo mogao objasniti nastupima u Evropi. U kvalifikacijama za Kup UEFA je izbačen kiparski Anorthosis, a u prvom kolu nas je čekao škotski Hearts. Ponovo smo svoje domaće utakmice igrali na Koševu, no u Edinburghu smo izgubili sa 2:0. Uprkos neodobravanju većeg dijela navijača, ispadanje iz Evrope je bio razlog za smjenu Amara Osima. Na polusezoni je Željezničar zauzimao tek osmo mjesto na tabeli. Ipak, Milomir Odović je na proljeće vodio tim kroz gotovo perfektnu polusezonu, što je bilo dovoljno za drugo mjesto.

U ljetnoj pauzi je ponovo došlo do smjene trenera. Umjesto Odovića, na mjesto šefa stručnog štaba je postavljen Čeh Jiří Plíšek. Za razliku od dvije prethodne, sezona 2004/2005 je odlično započeta u domaćem prvenstvu. Međutim, u Kupu UEFA je zabilježen sraman poraz od 7:0 protiv Litexa iz Bugarske. Već tada su se pojavila prva previranja u klubu, a sve je prividno riješeno smjenom trenera pred kraj jesenje polusezone. Proljetni dio sezone je odigran vrlo loše i samo su jesenja zaliha bodova razlog za krajnje drugo mjesto na tabeli, treće uzastopno. Iako je to ponovo pružalo mogućnost nastupa u Kupu UEFA, klub tog ljeta nije dobio licencu tako da od evropskih utakmica nije bilo ništa.

Tako je započeo novi težak period za tim sa Grbavice. Šesto mjesto. Peto mjesto. Sedmo mjesto. Deveto mjesto. Bili su to razočaravajući plasmani za naš klub i navijači su s pravom bili nezadovoljni. Nestabilna finansijska situacija, nepostojanje jasne vizije u vođenju tima, brojne promjene trenera i protok velikog broja igrača koji se u klubu nisu zadržavali dugo su obilježili te četiri sezone koje bi većina navijača rado zaboravila. Najveći uspjeh plavih u tom periodu je plasman u polufinale Kupa BiH, što dovoljno govori o stanju krize u kojoj se klub nalazio.