Међу стотинама жена у харему Оливера је постала једна од четири султанове законите жене - кадуне[тражи се извор од 04. 2011.]. Временом се између њих двоје ипак родила љубав. Према постојећим изворима Оливера је била „ванредно лепа и имала је велики утицај на страстима оданог Бајазита“[4] и успела да „и у султанскоме харему одржи прво место, и да задобије и одржи љубав бесног Бајазита“[5]. Своје “место у харему и султановом срцу“[5] она је често користила да помогне своме напаћеном народу и држави[тражи се извор од 04. 2011.]. За све време боравка у харему Оливера је остала у православној вери. После битке код Ангоре (Анкаре) 1402, где је татарски емир Тамерлан нанео тежак пораз Османлијама и заробио султана Бајазита, заробљеништва је допала и Оливера. Према османској традицији, Бајазит је 8. марта 1403. у татарском ропству на крају извршио самоубиство због срамоте која је била нанесена Оливери [6]. Оливера је ослобођена из заточеништва током 1403. захваљујући посланству које је њен брат Стефан Лазаревић, сада већ деспот, послао Тамерлану [7].