Drugi svjetski rat je protekao u neprijateljskoj okupaciji Sarajeva. Svaka normalna aktivnost je bila ograničena, a značajan broj igrača i članova kluba je učestvovalo u borbi protiv okupatora. Istina, klubovi su imali mogućnost nastavka rada u okviru takmičenja organizovanih pod okriljem NDH, no to u Željezničaru nisu htjeli.
Sarajevo je oslobođeno u aprilu 1945. godine, a već u junu su radnici željezničke radionice “Vaso Miskin Crni” odlučili obnoviti rad svog kluba. Ubrzo je održana i skupština na kojoj je jasno potvrđena namjera da društvo nastavi sa radom, uključujući sekcije po brojnim sportovima. Isprva je ideja bila da se ime kluba promijeni u “Vaso Miskin Crni”, ali je Fiskulturni savez BiH to odbio uz objašnjenje da nijedno društvo ne može nositi ime narodnih heroja, tako da je zadržano ranije ime “Željezničar”. U to vrijeme su se sve aktivnosti odvijale pod imenom Fiskulturnog društva Željezničar, a tek je 1950. godine održana i posebna skupština fudbalskog kluba. Uporedo sa administrativnim, odvijale su se i praktične aktivnosti. Krenulo se sa odigravanjem prijateljskih utakmica, a utakmice su igrane na stadionu “6. april” koji se nalazio na Marijin Dvoru i koji nam je od strane Fiskulturnog saveza BiH dodijeljen na korištenje.
1945. godine je odigrano prvo prvenstvo u oslobođenoj državi, s tim da su na njemu nastupale reprezentacije republika i pokrajina. Prvo pravo klupsko prvenstvo Jugoslavije je planirano za sezonu 1946/1947, no prethodno je bilo neophodno odigrati kvalifikacione utakmice kako bi se odredili učesnici prvoligaškog karavana. Željezničar je prvo igrao sa sarajevskim klubovima Udarnikom i Slobodom (čijim je ujedinjenjem ubrzo nastao Torpedo) i osvojio je prvo mjesto što mu je garantovalo razigravanje za zajedničku državnu ligu. U razigravanju smo odmjerili snage sa pobjednicima drugih regionalnih takmičenja u BiH, tj. sa pobjednikom banjalučke regije Borcem i pobjednikom mostarske regije Veležom. Pobjedom u Banja Luci u direktnom duelu u posljednjoj utakmici, na tabeli smo pretekli Borac. Na taj način smo osigurali nastup u prvoj prvoligaškoj sezoni odigranoj u Jugoslaviji poslije Drugog svjetskog rata. To je ujedno bio i najveći klupski uspjeh do tada.
Mlada ekipa Željezničara je sa promjenjivim rezultatima ušla u premijernu prvoligašku sezonu. Ipak, klub je veliki udarac primio kada su vlasti početkom 1947. godine odlučile formirati novi klub Torpedo. Fiskulturni savez BiH je odredio da Željezničar novoosnovanom klubu mora ustupiti svojih šest najboljih igrača. Jedan od njih, Josip “Joško” Domorocki, je izričito odbio da pređe u novi klub, a odgovor Torpeda je bio svojevoljna registracija Karla Skopovija kojeg je Željezničar na kraju ipak uspio vratiti. Otimanje najboljih igrača od jedinog bh. predstavnika u državnoj ligi se neminovno odrazilo na rezultate i Željezničar je na kraju te sezone zauzeo 12. mjesto (od 14 klubova). Ishod je bio ispadanje u niži rang.
Iako rezultati ni u drugoligaškom društvu u sezoni 1947/1948 nisu bili baš najbolji, konačni plasman je trebao biti dovoljan za ostanak u tom rangu. Međutim, reorganizacija takmičenja u Jugoslaviji nas je smjestila u republičku ligu BiH. Već 1950. godine smo se vratili u Drugu saveznu ligu u kojoj smo nastupali dvije sezone. Kada je 1952. ponovo izvršena reorganizacija fudbalskih takmičenja, Druga liga se nije ni igrala. Klub se stoga takmičio u Podsaveznoj ligi grada Sarajeva nakon koje su slijedile vrlo komplikovane kvalifikacije za Drugu saveznu ligu. Iz drugog pokušaja, Željezničar je uspio u konkurenciji Šibenika, Branika (današnji Maribor) i Tekstilca (današnji Varaždin). Već u narednoj sezoni je ostvaren i povratak u najviši rang – Prvu saveznu ligu, i to osvajanjen drugog mjesta iza Zagreba.
Prva savezna liga je, međutim, bila potpuno drugačiji svijet. Veliki broj odličnih klubova i fudbalera je značio daleko jaču konkurenciju, ali istovremeno i priliku mladim igračima u plavim dresovima da pokažu koliko mogu. Predvođeni svojim prvim reprezentativcem u historiji kluba Ilijasom Pašićem, Željezničar je izborio opstanak u sezoni 1954/1955. U sezoni poslije klub nije imao tu sreću. Ponovo smo trebali ispasti u Drugu saveznu ligu. Trebali, ali je po ko zna koji put planirana promjena sistema takmičenja, koja je podrazumijevala da se, umjesto igranja u Drugoj ligi, ponovo krene od regionalnih takmičenja i složenih kvalifikacija, no ovaj put za prvoligaško društvo. Nakon brojnih utakmica, Željezničar je na kraju bio bolji od Borova, Splita i kragujevačkog Radničkog te se ponovo našao u društvu najboljih.
Nekoliko zapaženih rezultata i dosta dobar proljetni dio prvenstva nam je osigurao plasman u sredini tabele. Nažalost, još jednom je druga sezona u prvoligaškom društvu bila kobna. Nekoliko nesretnih rezultata i samo jedan bod zaostatka za Sarajevom su podrazumijevali novo ispadanje u Drugu ligu. Čak ni ubjedljiva pobjeda nad gradskim rivalom od 4:1 u posljednjem kolu nije mogla nadoknaditi ranije gubitke bodova.
Paralelno sa ovim dešavanjima, izgrađen je i vlastiti stadion, po drugi put u historiji kluba. Stadion “6. april” na Marijin Dvoru je korišten do 1950. godine, ali su regulacioni planovi za izgradnju grada predvidjeli drugu namjenu za prostor pored Srednje tehničke škole. Klub je privremeno prešao na armijsko igralište na Skenderiji, ali je mnogo bitnije da je godinu dana ranije, u maju 1949. godine, u sarajevskom naselju Grbavica počela izgradnja potpuno novog sportskog centra. Radnici željeznice, vojnici i brojni dobrovoljci stanovnici Sarajeva su učestvovali u pripremi terena, a sa Marijin Dvora je prebačena drvena zapadna tribina. Konačno, 1953. godine je otvoren stadion Grbavica. Vrijedi istaći da je stadion u to vrijeme imao i atletsku stazu koja se koristila i za biciklističke trke, a isti je korišten od strane svih članova Sportskog društva Željezničar.
