Çoğunlukta jamaika asıllı İngilizlerin yaşadığı Güney Londranın bermondsay kasabasında çocukluk ve ergenlik hayatı boyunca kötü günler geçirmiştir. Tüm dünyada olduğu gibi o zamanlarda Londra'da açıkca görülmekte olan ırkçılık yüzünden diğer onlarca siyahi ingiliz vatandaşı gibi toplumda azınlık muamelesi gördü.
Londra'nın en ücra mahallelerinden birinde doğmuş olması onu yaşadığı yer olan londradaki insanlara karşı önyargı ve nefret beslemesine neden olmuştur. Çocukken yaşadığı mahallelerdeki ırkçılık ve çeteler yüzünden sürekli kavga etmek zorunda kalan Haye ilk boks eldivenini 10 yaşında giymiştir. Akademik eğitim hayatında da dış baskılar ve yüzünden çok başarılı olamamıştır