Ο γάμος την με τον δικηγόρο Χέρμπερτ Λι Χόλμαν δεν την αφορούσε καθόλου, με αποτέλεσμα να αδιαφορεί και για την κόρη της Σούζαν. Αυτό που την ένοιαζε μόνο ήταν η καριέρα.

Σε μία από τις παραστάσεις του «The Mask of Virtue», για το οποίο απέσπασε διθυραμβικές κριτικές, γνώρισε τον Λόρενς Ολίβιε, με μία από τις μεγαλύτερες αγάπες του 20ου αιώνα να ξεκινούν.

Μπορεί και οι δύο να ήταν παντρεμένοι, αλλά αυτό δεν στάθηκε εμπόδιο στον παράφορο έρωτά τους, ο οποίος επιβεβαιώνεται και από τις άκρως «καυτές» επιστολές του σπουδαίου θεατρικού ηθοποιού στην σταρ.

«Ξύπνησα λυσσασμένος από επιθυμία για εσένα αγάπη μου. Ο Θεός ξέρει πόσο σε θέλω. Ίσως να χάιδευες τον εαυτό σου. Αγάπη μου, δεν έχω κάνει τίποτα. Συχνά το έχω σκεφτεί, αλλά δεν θέλω να ικανοποιήσω τον εαυτό μου γιατί θα το έκανα χωρίς εσένα, οπότε δεν πρόκειται να το κάνω αν αντέξω», έγραφε σε μία από αυτές.

Σε κάποια άλλη, ξεδίπλωνε πάλι τον ερωτικό του πόθο, γράφοντας στην Βίβιαν Λι: «Κάθομαι γυμνός, τυλιγμένος με τα εσώρουχά σου. Η επιθυμία μου είναι τόσο έντονη».

Η παθιασμένη τους σχέση κατέληξε σε γάμο, με τα έντονα σεξουαλικά αισθήματα και την τρέλα του έρωτα να σβήνουν σιγά-σιγά. Η Βίβιαν Λι έπαθε νευρικό κλονισμό και ο Λόρενς Ολίβιε κουράστηκε από τις απιστίες της. Το 1960 εκδόθηκε το διαζύγιό τους, με τον έρωτά τους να γράφεται στην ιστορία.

Όλα αυτά τα χρόνια, η μεγάλη σταρ πάλευε με την μανιοκατάθλιψη. «Κατά τη διάρκεια της περιόδου που βρισκόταν αιχμάλωτη στα δίχτυα εκείνου του πανούργου τέρατος, της μανιοκατάθλιψης, κατάφερε να διατηρήσει την εξυπνάδα της, μια χρήσιμη ικανότητα που τη βοηθούσε να αποκρύψει την πραγματική ψυχική της κατάσταση σχεδόν από όλους εκτός από μένα, για τον οποίο της ήταν δύσκολο να κάνει τον κόπο», είχε σημειώσει για εκείνη ο Λόρενς Ολίβιε στην αυτοβιογραφία του.

Ο Ολιβιέ παντρεύτηκε την ηθοποιό Τζόαν Πλόουραϊτ και η Βίβιαν Λι μετακόμισε στο Λονδίνο με τον εραστή της, Τζακ Μέριβαλ.

Η φυματίωση την «χτύπησε» το 1967 και παρότι έδειξε πως έχει ξεπεράσει την αρρώστια υπέκυψε τελικά τη νύχτα της 7ης Ιουλίου του 1967.