Popularni Željo je svoj prvi nogometni susret imao sa tada poznatim i uspješnim SAŠK Napretkom. Poraz u utakmici je bio u drugom planu s obzirom na to da su navijači i zaljubljenici u plavu boju proslavljali rođendan svog kluba, koji će kasnije izrasti u jedan od najvećih sportskih kolektiva.
Željezničar je osnovan na ideju radnika željeznice Dimitrija Dimitrijevića, Sarajlije koji je rođen na Mejtašu, u Čekaluši. Ideju o osnivanju kluba je podijelo sa prijateljem, mašinovođom Ludvigom Lepleom, 1920. godine. Iako se rođendan Željezničara obilježava 17. septembra, klub je zvanično osnovan dva dana kasnije.
Dimitrijević i Leple su uz pomoć Stjepana Katalinića formirali Inicijativni odbor, a nakon toga i Upravu kluba. Potom su, uz veliki doprinos radnika Željezničara kupljeni lopta i oprema, a igrači su na dresovima imali izvezenu lokomotivu, koja je bila prvi grb kluba. Nakon toga su Plavi 19. septembra postali punopravni član Nogometnog podsaveza, a time i član Drugog razreda.
U prvoj je zvaničnoj utakmici Željo osvojio bod protv Šparte odigravši 1:1. Na prvom gostovanju 16. oktobra 1921. godine su Plavi proslavili pobjedu pobijedivši Krivaju rezultatom 3:2.
Klupski rekorder je Josip Bukal. Odigrao je 464 utakmice u kojim je postigao 127 golova. Debitovao je protiv Vojvodine 1963. godine, a najbolji strijelac kluba je bio u sezoni 1971/1972. Te sezone je sa 14 golova pomogao Željezničaru da osvoji titulu prvaka Jugoslavije.
Dom Željezničara je na stadionu Grbavica. Njegovi su igrači prvo trenirali i nastupali na vojnom terenu Egzercir, potom su 1932. godine igrali na igralištu na Pofalićima, a nakon toga su prešli na igralište 6. april na Marijin-Dvoru, da bi 1953. godine konačno zaigrali na novoizgrađenoj Grbavici, koja je i danas Željin dom. Prvu utakmicu su Plavi na novom stadionu odigrali 13. septembra 1953. godine, kada su rezultatom 4:1 pobijedili Šibenik. Grbavica je u nekoliko navrata doživjela rekonstrukcije, a posljednju među njima 2004. godine, kojom su sanirana oštećenja nastala tokom agresije na BiH.
Željezničar je jedini klub iz BiH koji je igrao polufinale Kupa UEFA. Bilo je to 1985. godine, kada je Plave nakon dvomeča nesretno eliminisao Videoton.
Legenda kluba je Ivica Osim, koji je igrao za Želju od 1954. do 1968. godine, a trener je bio od 1978. do 1986. godine. Ipak, najtrofejniji trener kluba je njegov sin Amar Osim. Titule prvaka je osvajao 2001., 2002., 2010., 2012. i 2013. godine.
Željezničar je u svojoj historiji igrao protiv velikih klubova poput Santosa (1969.), Intera (1971.) i Arsenala (1976.).
Velikim uspjesima kluba svakako su pridonijeli i vjerni navijači, a najvatrenija grupa, koja se nalazi na južnoj tribini, 1987. godine je dobila ime Manijaci (The Maniacs).
Klupski rekordi:
Najviše nastupa u zvaničnim utakmicama: Branislav Jelušić (650)
Najviše ligaških nastupa: Blagoje Bratić (343) Najviše ligaških golova: Dželaludin Muharemović (112) Najuvjerljivija ligaška pobjeda: Željezničar - Barkohba 18:0 (23. mart 1925.) Najuvjerljiviji ligaški poraz: Dinamo Zagreb - Željezničar 9:1 (29. septembar 1946.) Najuvjerljivija pobjeda u Saveznoj jugoslavenskoj ligi: Željezničar - Maribor 8:0 (29. august 1971.) Najuvjerljiviji poraz u Saveznoj jugoslavenskoj ligi: Dinamo Zagreb - Željezničar 9:1 (29. septembar 1946.) Najuvjerljivija pobjeda u bh. ligaškim takmičenjima: Željezničar - Leotar 8:0 (28. august 2010.) Najuvjerljiviji poraz u bh. ligaškim takmičenjima: Zmaj od Bosne - Željezničar 9:1 (4. novembar 1995.) Najveći broj ligaških golova u sezoni (113 golova, sezona 2000/2001.) Najbolji strijelac u jednoj sezoni: Dželaludin Muharemović (31 gol, sezona 2000/2001.)
Jedna od najvećih historijskih misterija riješena: Naučnici pročitali spis star 2.000 godina
