Ο Carter γεννήθηκε στο Μπρούκλιν της Νέας Υόρκης και μεγάλωσε στις φτωχές συνοικίες του Marcy. Μαθήτευσε στα ίδια σχολεία με τους The Notorious B.I.G., AZ και Busta Rhymes (όλοι τους ράπερ).

Ενώ ήταν ακόμη μαθήτης, ο Jay-Z όταν ξεκίνησε να ασχολείται με τη ραπ μουσική αλλά και την πώληση ναρκωτικών ουσιών. Παράλληλα ανέπτυξε μια φιλία με τον Jaz-O ο οποίος τον βοήθησε στα πρώτα του καλλιτεχνικά βήματα. O Carter συμμετείχε στα τραγούδια του Jaz-O, "The Originators" και "Hawaiian Sophie".

Επιπλέον, από τις πρώτες του γνωστές συμμετοχές ήταν στα τραγούδια των Big L στο "Da Graveyard" και Mic Geronimo στο "Time to Build".

Το 1996, μετά από αποτυχημένες προσπάθειες προώθησης της μουσικής του, ο Jay-Z σε συνεργασία με τον φίλο του Damon Dash ίδρυσε την δισκογραφική εταιρεία Roc-A-Fella Records η οποία έμελλε να γίνει από τις μεγαλύτερες εταιρείες στο χώρο της ραπ μουσικής. Το 2005 πήρε υπό την προστασία του την Teairra Mari, μελος της Roc-A-Fella μεχρι το 2006, ενω παράλληλα ανακάλυψε την Rihanna και τον Ne-Yo.

Το 1996 επίσης, κυκλοφόρησε το πρώτο άλμπουμ του Carter, Reasonable Doubt, το οποίο θεωρείται από τους καλύτερους δίσκους του συγκεκριμένου καλλιτέχνη.

Το 2008, ο Jay-Z παντρεύτηκε την Αμερικανίδα τραγουδίστρια Μπιγιονσέ.