Ideju o osnivanju Željezničara, mladi željeznički radnik Dimitrije Dimitrijević, koji je rođen i odrastao u centru grada na Mejtašu, u Čekaluši, predložio je već 1920. godine svom kolegi i prijatelju mašinovođi, Ludvigu Lepleu.
Uz Stjepana Katalinića, oni formiraju inicijativni odbor iz čijeg jezgra nastaje i prva uprava kluba, na čijem čelu se našao diplomirani inžinjer građevinarstva, Austrijanac po rođenju, Mađar po narodnosti, Hinko Tegzeš.
U osnivanju svog kluba veliki doprinos dali su svi radnici Željeznica: kupljena je lopta, prva sportska oprema, treniralo se na vojnom vježbalištu Egzercir, izrađena su i obilježja kluba, a djevojke igrača su na majicama izvezle lokomotivu - prvi grb kluba.
Uz dosta problema sa tadašnjim vlastima, Plavi su primljeni u Podsavez 19. septembra 1921. godine. Već pomenutu utakmicu sa SAŠK Napretkom, Željezničar je izgubio 5:1, a jedini strijelac za Željezničar bio je upravo Dimitrije Dimitrijević.
Željezničar je prvi uspjeh ostvario 1946. godine osvajanjem Prvenstva Narodne republike BiH, a 1972. je postao prvak Jugoslavije.
Prvenstvo BiH su osvajali u šest navrata (1998., 2001., 2002., 2010., 2012. i 2013.), kao i Kup BiH (2000., 2001., 2003., 2011., 2012. i 2018.). Također, osvojili su tri Super kupa BiH i to 1998. 2000. i 2001. godine.
Najveći međunarodni uspjesi su četvrtfinale Kupa UEFA 1972., dok su 1985. u ovom takmičenju došli do polufinala.
Jedna od najuspješnijih porno zvijezda nije bila zadovoljna zaradom: "To nije uredu"
Desert s jabukama koji će mnoge vratiti u djetinjstvo: Napravite jugoslovenski kolač
