Mardin je rođen je 1932. godine u istambulskoj porodici, a pohađao je ekonomiju u Londonu. Slučajan susret u Turskoj 1956. godine sa muzičarima Dizzy Gillespiem i Quincy Jonesom, koji su ga inspirirali da upiše glazbenu školu Berklee u Bostonu, a koju je završio 1961. godine odredili su njegov dalji put.
Sunarodnjak Nesuhi Ertegun, kojeg je upoznao na "Newport Jazz festivalu", ga je dvije godine kasnije doveo u izdavačku kuću "Atlantic Records".
Producirao je mnoga čuvena imena Arethu Franklin, Dusty Springfield, Average White Band, Phila Collinsa, Hall & Oates, Robertu Flack, Brook Benton...
Sredinom '70-tih Madrin je pomogao i grupi "Bee Gees" da osvježi svoj zvuk i ponovo oživi karijeru s albumom "Main Course" koji je imao i hit No.1. "Jive Talkin'".
Producirao je i hit balade "From a Distance" i "Wind Beneath My Wings" od Bette Midler, ali i funky stvari poput "I Feel For You" Chake Khan.
Mardin je u izdavačkoj kući Atlantic ostao do 2001. godine, a nakon toga prešao je u "EMI" odnosno u "Blue Note". Bio je koproducent debut albuma Norah Jones "Come Away With Me", koji je 2003 godine dobio Grammya u kategorijama "album godine", a Mardinu donio titulu producenta godine.
Mardin je također producirao Jonesin Feels "Like Home" koji se u prvoj sedmici po objavljivanju u Americi prodao u preko milion kopija, u februaru mjesecu 2004.
Tokom svoje uspješne karijere Mardin je prikupio 60 zlatnih ili platinastih albuma i dobitnik je dvanaest Grammy nagrada. Godine 1990. uključen je u "Recording Academy's Hall of Fame".