Ο πατέρας του ήταν ευκατάστατος εβραίος έμπορος υφασμάτων. Σε ηλικία έξι ετών, ο Κόεν έχασε τον πατέρα του και αυτό τον σημάδεψε για όλη του την ζωή. Έφηβος έμαθε κιθάρα και έγινε μέλος του μουσικού γκρουπ Buckskin Boys, το οποίο έπαιζε μουσική κάντρυ. Αργότερα, τον καιρό που ήταν σπουδαστής στο Πανεπιστήμιο McGill εξέδωσε τα πρώτα του ποιήματα που τον έκαναν γνωστό στους καναδικούς λογοτεχνικούς κύκλους. Το 1963 εγκαταστάθηκε στην Ύδρα, όπου συνέχισε να γράφει. Με το μυθιστόρημα Beautiful Losers (Θαυμάσιοι αποτυχημένοι, 1966), γνώρισε την παγκόσμια επιτυχία ως συγγραφέας. Ωστόσο, το 1967 αποφάσισε να εγκατασταθεί στις ΗΠΑ για να αφοσιωθεί στην μουσική.

Σε συναυλίες φολκ στις ΗΠΑ το 1967, η τραγουδίστρια Τζούντυ Κόλλινς (Judy Collins) έκανε γνωστό το τραγούδι του Κόεν Suzanne. Έτσι την ίδια χρονιά, ο Κόεν μπόρεσε να κυκλοφορήσει τον πρώτο του δίσκο με τίτλο Songs of Leonard Cohen. Ακολούθησαν πολλοί άλλοι δίσκοι, μεταξύ των οποίων και ο δίσκος Songs of Love and Hate που περιέχει το τραγούδι - ύμνο στην αγάπη και τη μοναξιά Famous Blue Raincoat (1971) με την φωνή της Τζένιφερ Γουαρνς (Jennifer Warnes).

Το 1992 κυκλοφόρησε τον πιο πολιτικοποιημένο δίσκο του με τίτλο The Future, και δύο χρόνια κατόπιν αποφάσισε να γίνει βουδιστής, μέχρι που χειροτονήθηκε μοναχός. Αλλά το 1999 εγκατέλειψε τον μοναστικό βίο, για να εκδώσει δύο ακόμα δίσκους. Το 2005, το όνομα του Κόεν βρέθηκε ξανά στις στήλες των εφημερίδων, επειδή ο επί χρόνια μάνατζέρ του τον εξαπάτησε κλέβοντας το μεγαλύτερο μέρος των χρημάτων του καλλιτέχνη.

Ο Κόεν δεν παντρεύτηκε ποτέ, αλλά είναι πατέρας δύο παιδιών, του Άνταμ και της Λόρκα, που απέκτησε με την Σούζαν Έλροντ (Suzanne Elrod).

Το 2010 τιμήθηκε με Τιμητικό Γκράμι για το σύνολο της προσφοράς του.