Kökeni Bugün Yunanistan'da kalan Parga yakınlarındaki bir köyde doğdu. Değişik kaynaklarda doğumunda Rum ya da İtalyan kökenli olduğu belirtilmektedi
Babası bir balıkçıydı (İbrahim Paşa'nın anne ve babasını sadrazamlığı sırasında İstanbul'a getirttiği kayıtlara geçmiştir). 6 yaşında korsanlar tarafından kaçırılarak Manisa'da köle olarak satıld