Patricia'nın ailesi, siyah bir erkekle evlendiği için onu reddetti. Irksal sorunlar, Carey ailesinin topluluklarına entegre olmasını engelledi. Huntington'da yaşarken komşuları, ailenin köpeğini zehirledi ve arabalarını ateşe verdi. Ebeveynleri, Mariah çok küçükken boşandı. Carey'nin babasıyla çok az teması vardı ve annesi aileyi desteklemek için birkaç işte birden çalıştı. Carey, zamanının çoğunu evde yalnız geçirdi, üç yaşında şarkı söylemeye başladı ve çoğu zaman annesinin Verdi'nin Rigoletto operasını İtalyanca olarak söylemesini taklit etti. Ablası Alison, babalarıyla birlikte taşınırken Carey ağabeyi Morgan ile birlikte anneleriyle kaldı. Ancak Morgan da bir süre sonra evden ayrıldı.