Novo ispadanje u niži rang nakon neuspješne sezone 1958/1959 nije shvaćeno tragično. Klub je imao dobru generaciju mladih igrača od kojih su se tek očekivali pravi rezultati. Plasman u Prvu ligu im je izmicao za dlaku. Ipak, treća sreća i prvo mjesto u sezoni 1961/1962 su donijeli povratak u Prvu saveznu ligu. Predvođeni Vlatkom Konjevodom s klupe, te na terenu sa Osimom, Smajlovićem, Radovićem, Kokotom, Kulovićem i ostalim, “plavi” su na gol-razliku osvojili prvo mjesto ispred tuzlanske Slobode. Bilo je to rađanje jednog tima koji će obilježiti sarajevski, bosanskohercegovački i jugoslovenski fudbal u prelazu iz šezdesetih na sedamdesete godine XX vijeka.
Potencijal ovog tima se vidio već u prvoj sezoni nakon povratka u Prvu saveznu ligu. Odlično treće mjesto je bio najveći uspjeh tima do tada, a to je Željezničaru donijelo i prvi nastup u nekom evropskom takmičenju, tadašnjem Srednjoevropskom kupu. Lijepa igra i često ubjedljive pobjede su krasile ovaj tim. Mišo Smajlović je bio i najbolji strijelac prvenstva, dok su nastupi u Evropi bili zapaženi zbog izbacivanja velike Austrije iz Beča. MTK iz Budimpešte je nakon toga bio prevelika prepreka jer je mađarski fudbal u to vrijeme bio među najjačim u svijetu.
Slične igre su pružane i u narednim sezonama. Plasman u prvom dijelu tabele u konkurenciji drugih snažnih klubova su bili nagovještaj onoga što dolazi. U klubu su stasavali novi igrači. Nadolazeće zvijezde poput Katalinskog, Hadžiabdića, Bukala, Bratića, Spreče, Mujkića i drugih su dopunjavale već dovoljno respektabilan sastav plavog tima. Kada je prvi tim u narednoj sezoni preuzeo stručni štab na čelu sa Milanom Ribarom, posljednja kockica je bila složena. Lokomotiva je grabila naprijed.
Stoje s lijeva: Josip Katalinski, Stevica Krsmanović, Enver Hadžiabdić, Dušan Jovanović, Ivan Osim i Fikret Mujkić; donji red: Nusret Kadrić, Branimir Jelušić, Blagoje Bratić, Josip Bukal i Edin Sprečo;
Kroz ovaj period, Željezničar je svoje domaće utakmice igrao na stadionu Grbavica. No drvene konstrukcije su narušile sigurnost objekata pa je odlučeno da se krene u rekonstrukciju. Zbog toga je Željezničar u ljeto 1968. godine privremeno prešao na gradski stadion Koševo na kojem će nastupati narednih osam godina i na kojem će postići velike rezultate. Za to vrijeme, na Grbavici će se izgraditi novi objekti, uključujući betonske tribine uz istočnu i južnu stranu terena.
Umiješati se u tzv. “veliku četvorku” je bilo izuzetno teško. Bili su to klubovi koji su iz godine u godinu dominirali domaćim fudbalom, a i finansijski su mnogo bolje stajali te su bez problema dovodili najbolje igrače iz drugih sredina. Odgoj vlastitih snaga je bio jedini mogući način da im se ostali kvalitetno suprotstave. U Željezničaru se radilo upravo to. Buduće zvijezde evropskog fudbala su rasle na Grbavici i u svakoj sezoni su samo iznova potvrđivali svoj potencijal. U sezoni 1969/1970 su nas tri boda dijelila od prvog mjesta. Sezonu poslije smo bili drugi sa četiri boda zaostatka za Hajdukom. No sve je to bio samo uvod u ono što je uslijedilo.
