Ferrer je bio oženjen glumicom Audrey Hepburn s kojom je surađivao i na nekoliko filmskih ostvarenja. Godine 1967. Ferrer je producirao film "Sama u tami" u kojoj je glavnu ulogu imala Hepburn.
Par se vjenčao 1954., a rastao 1968. Godine 1960. rodio im se sin Sean. Ferreru je to bio treći brak. Nakon razvoda od Hepburn oženio se s Elizabeth Soukhotine.
Ferrer je rođen 1917. u gradu Elberonu u američkoj državi New Jersey. Majka mu je bila Amerikanka, a otac Kubanac. Glumački debi ostvario je na Broadwayu, nakon što je diplomirao na Princetonu, a zatim se bavio pisanjem, novinarstvom, radio je na radiju te na kraju na televiziji.
Ostvario je zapažena filmska ostvarenja i u filmovima "Sunce se ponovno rađa" i "Lili".
Bio je asistent Johnu Fordu u filmu "Bog je mrtav" snimljenom 1947., a zatim je krenuo vlastitim putem. Jednu od svojih najboljih glumačkih uloga ostvario je u filmu iz 1956. "Rat i mir" u kojemu je utjelovio princa Andreja Bolkonskog.