Kao novi klub, Željezničar je počeo od najnižeg ranga takmičenja. U to vrijeme, prvenstvo Jugoslavije se igralo po kup sistemu, a učesnici su se dobivali nakon odigravanja ligaških takmičenja na nivou podsaveza. Sarajevski podsavez je imao dva ranga takmičenja koja su se zvala razredi. U prvom su igrali tada najjači klubovi SAŠK, Slavija, Hajduk i Sarajevski, dok su drugi činili Troja, Šparta, Barkohba i novoosnovani Željezničar. Očekivanja nisu bila velika i početni cilj je već bio ostvaren, a to je učešće u zvaničnom takmičenju. Prva utakmica je odigrana 2. oktobra 1921. godine protiv Šparte. Iako je protivnik važio za velikog favorita, izrazito motivisani igrači Željezničara su uspjeli doći do remija. Utakmica je okončana rezultatom 1:1, a odigrana je na igralištu Skenderija.
Ispostavit će se da su postojeći klubovi bili suviše snažni. Nakon neriješenog rezultata u prvom kolu, klub je zaredao sa porazima. Ipak, do kraja prvenstva je ostvarena i jedna pobjeda, i to u posljednjem kolu protiv Barkohbe. Ubjedljivih 7:0 predstavlja prvu pobjedu Željezničara u jednoj zvaničnoj ligaškoj utakmici. Imajući u vidu da su se za pobjedu dodjeljivala dva boda, to je značilo da je Željezničar u prvoj sezoni osvojio ukupno tri. Nažalost, to nije bilo dovoljno za više od posljednjeg mjesta.
Najveći problemi kluba su i dalje bili finansije i nedostatak vlastitog igrališta. Igranje na Skenderiji i Kovačićima je zahtijevalo dodatne finansijske izdatke pa se sve više razmišljalo o izgradnji vlastitog igrališta, kao nekom planu za budućnost. Istovremeno, klub se u tih prvih nekoliko sezona takmičio u Drugom razredu Sarajevskog podsaveza i, uprkos raznim poteškoćama sa kojima se susreću mladi timovi, postepeno je jačao. Konačno, u sezoni 1925/1926 je osvojeno prvo mjesto i Željezničar se prvi put plasirao u viši ligaški rang.
U konkurenciji Slavije, SAŠK-a i Hajduka, Željezničar je osvojio posljednje mjesto u svom premijernoj sezoni. Ipak, reorganizacija takmičenja je dovela do toga da naš klub ostane u prvom razredu. Stečeno iskustvo je iskorišteno i poslije toga je uslijedio period solidnih rezultata. Stvoren je stabilan klub koji je u sarajevskoj regiji po snazi bio odmah iza onih najjačih – SAŠK-a i Slavije. Osim toga, ova dva kluba su upravljala Savezom tako da su nekad igrali ligu, nekad nisu, nekad su se naknadno uključivali ili isključivali, a imali su i značajno iskustvo igranja sa najboljim jugoslovenskim klubovima u okviru povremene zajedničke državne lige. U takvim uslovima, Željezničar je ipak imao sve veću popularnost.
Veliki događaj se desio u kasnu jesen 1932. godine. Dobrovoljnim radom igrača i željezničkih radnika, na Pofalićima je izgrađeno prvo vlastito igralište koje je otvoreno posebnim turnirom. U pripremu igrališta je uloženo jako mnogo truda i finansijskih sredstava i, u vrijeme kada je završen, bio je teren sa najboljom drenažom u Sarajevu. Ipak, utjecaj najvećih klubova tog vremena je spriječio da to igralište bude prihvaćeno. Očigledno je jačanje kluba bila prevelika prijetnja jer sada su postojali temelji za samostalno stjecanje prihoda od iznajmljivanja igrališta, dok istovremeno nije bilo potrebe da se najamnina plaća za igrališta na Skenderiji i u Kovačićima. Prvo su uloženi prigovori na orijentaciju terena koji je bio usmjeren u pravcu istok-zapad, umjesto uobičajenog pravca sjever-jug. Kada im ni to nije uspjelo, pokrenuto je pitanje vlasništva nad zemljom na kojoj se igralište nalazilo. Iako je zemljište već godinama uz odobrenje koristila željeznička radionica, ono je formalno bilo u vlasništvu Središnjeg stovarišta željeznice. Utjecaj najvećih klubova je za rezultat imao da Središnje stovarište naglo počne koristiti ovo zemljište. Tako se činilo da je veliki trud na kraju postao uzaludan, iako su zajednički rad i zajednička nevolja samo još dodatno ojačali duh ovog kluba – karakteristika koja će se u decenijama koje dolaze često ispoljavati.
Dok je čitava pravna procedura provjere vlasništva trajala, Željezničar je na tom igralištu odigrao nekoliko relativno uspješnih sezona. Ponovo je ostvarivan plasman u sredini tabele čime je održana reputacija stabilnog ligaša koji je ponekad znao iznenaditi i one najjače klubove. No sa definitivnim oduzimanjem igrališta je krenuo i rezultatski pad. Posljednje mjesto u sezoni 1936/1937 je trebalo značiti ispadanje u Drugi razred. Na svu sreću, još jedna reorganizacija takmičenja u obliku povećanja broja članova lige je klub ostavila u najvišem rangu Sarajevskog podsaveza.
Finansijski problemi su rezultirali i odlaskom nekih boljih igrača tako da su rezultati krajem tridesetih godina XX vijeka bili vrlo skromni. Uporedo s tim, u omladinskom pogonu je stasavala jedna solidna generacija koja je obećavala. Djelić tog potencijala su pokazali u posljednjim sezonama pred dolazak Drugog svjetskog rata u Sarajevo. U sezoni 1939/1940 je zauzeto odlično drugo mjesto, a vrlo dobri rezultati su ostvarivani i u sezoni poslije. Međutim, ratne strahote su u proljeće 1941. stigle u naš grad i fudbalska takmičenja su pala u drugi plan. Umjesto odlazaka na treninge, veliki broj članova kluba se uključio u borbu protiv stranih agresora i njihovih domaćih kolaboratora. Loptanje je ostavljeno za neka bolja vremena.
