Početkom 20. stoljeća u Sarajevu je postojalo nekoliko renomiranih klubova, no oni su pripadali, što zvanično, što nezvanično, nacionalnim strukturama u gradu.
Tako su dva vodeća kluba u gradu SAŠK i Slavija, nezvanično bili klubovi hrvatske i srpske zajednice u Sarajevu, dok su Đerzelez i Barkohba okupljali pripadnike bošnjačke i jevrejske zajednice.
Hajduk se vezao za radničku klasu grada Sarajeva i nije imao podršku bogatijih slojeva unutar nacionalnih struktura, ali klub nije bio dovoljno jak da aktivno uključi sve veći broj zaljubljenika u krpenu loptu, te se počelo s formiranjem novih klubova koji su igrali samo prijateljske utakmice i nisu bili zvanično registrovani.
Mladi radnici željezničke radionice u Sarajevu, kao i sinovi nekih radnika su u jesen 1920. godine odlučili osnovati pravi klub i dogovorili su se oko osnovnih zadataka. S obzirom na to da je dolazila zima, a finansije predstavljale dodatni problem, realizacija ideje je na kraju prolongirana za proljeće.
S obzirom da su njihovi životi na ovaj ili onaj način bili usko povezani sa željeznicom, izbor imena kluba se nametnuo sam po sebi.
U proljeće 1921. godine mladi željeznički radnici su uspjeli kupiti loptu, ali su naišli na problem igrališta. Postojeća igrališta su pripadala drugim klubovima i za njihovo korištenje su naplaćivali naknadu koju mladi momci nisu mogli plaćati.
Na kraju su odlučili koristiti vojno vježbalište na Čengić Vili, popularni Egzercir. Ubrzo su dogovorene i prve nezvanične utakmice sa drugim sličnim klubovima, ali za veliki iskorak, igranje sa najboljim sarajevskim klubovima, bila je neophodna registracija u Savezu.
U julu 1921. godine je podnesena molba za prijem kluba u Sarajevski podsavez, a 30. jula je donesena odluka da se "Željeznički športski klub Sarajevo može primiti za člana Podsaveza tek nakon odigravanja dvije utakmice".
Prva od dvije uslovne utakmice je odigrana na Skenderiji 11. septembra protiv Sarajevskog ŠK-a, a Plavi su izgubili rezultatom 5:1. Drugu utakmicu Željeznički športski klub je odigrao u Kovačićima šest dana kasnije protiv SAŠK-a, tada najjačeg bh. kluba, gdje su također poraženi rezultatom 5:1.
Za ove prilike su u Zagrebu kupljene bijele majice, a na istima se izvezao točak lokomotive sa željezničkim krilima, što je bio i prvi grb na dresu Željezničara.
Tim je nastupio u sastavu: Stefan Cicvol, Milan Tomić, Vilim Novak, Rudolf Kefer, Milovan Adamović, Stjepan Katalinić, Ludvig Leple, Dragutin Siber, Dimitrije Dimitrijević, Ivan Krajnc i Franjo Cvelfer. U drugom dijelu su nastupili još Ivan Dunkl i Milutin Egić.
Na taj način je ispunjen i posljednji uslov za punopravno članstvo u Savezu, a u ponedjeljak, 19. septembra 1921. godine, Savez je prihvatio novi klub u svoje okrilje i uvrstio ga u takmičarski kalendar Drugog razreda za sezonu 1921/1922.
Od tada, Željezničar je tokom 102 godine postao jedan od najslavnijih klubova na prostorima bivše Jugoslavije, a u svojim vitrinama ima 17 osvojenih trofeja - Prvenstvo Narodne republike BiH 1946., Prvenstvo Jugoslavije 1971/1972, Prvenstvo BiH 1997/1998, 2000/2001, 2001/2002, 2009/2010, 2011/2012, 2012/2013, Kup BiH 1999/2000, 2000/2001, 2002/2003, 2010/2011, 2011/2012, 2017/2018, te Super kup BiH 1998., 2000. i 2001. godine.
Đoković iz olimpijskog sela objavio fotografiju s dvojicom hrvatskih sportista
