Για πολλούς ανθρώπους η Ικαρία είναι γνωστή ως τόπος εξορίας. Κατά την περίοδο της δικτατορίας του Μεταξά εξορίστηκαν εκεί αρκετοί πολιτικοί του αντίπαλοι όπως και μετά τον Β΄ Παγκόσμιο πόλεμο και τον Εμφύλιο έστειλαν στην Ικαρία το άνθος των Δημοκρατικών Ελλήνων, όσων δεν ανέβηκαν στα βουνά, για να τους εμποδίσουν να ενταχθούν στον Δημοκρατικό Στρατό. Χιλιάδες οι εξόριστοι στο νησί, έφτασαν κάποια στιγμή να υπερβαίνουν και τον αριθμό των ντόπιων κατοίκων. Αγάπη και ανθρωπιά επέδειξαν οι Ικάριοι στους εξόριστους και ανεξάρτητα από τις πολιτικές τους πεποιθήσεις τους αγκάλιασαν και τους έβαλαν στα σπίτια τους. Η Ικαρία δεν διέθετε φυσικά λιμάνια και αυτό σε συνδυασμό με την σχετική απομόνωση στην οποία ζούσαν οι κάτοικοι του νησιού την καθιστούσε τόπο κατάλληλο για εξορίες από όπου δύσκολα μπορούσε κανείς να διαφύγει.

Όμως και κατά τους Βυζαντινούς χρόνους, εκεί εξόριζαν πρόσωπα του βασιλικού γένους και άλλων επιφανών ιδιαιτέρως επικίνδυνων για το θρόνο. Οι εξόριστοι αυτής της περιόδου αναπτύσσουν στενές σχέσεις με τους κατοίκους του νησιού ακόμη και οικογενειακούς δεσμούς και εγκαθίστανται εκεί μόνιμα. Στα κατοπινά χρόνια οι Ικάριοι είχαν αποκτήσει μια έπαρση γιατί θεωρούσαν τους εαυτούς τους Πορφυρογέννητους και γι αυτό το λόγο απαγόρευαν και την επιγαμία με ξενομερίτες, « δια να κρατούν αμόλευτον το αυτοκρατορικόν αίμα που έρρεε εις τας φλέβας των».

Κατά την περίοδο της πειρατείας (1500-1700) η Ικαρία δίνει την εντύπωση της ερήμωσης. Γεμάτη πυκνά δάση από τις βουνοκορφές της ως τα παράλια, με απρόσιτους γκρεμνούς και υπόγειες σπηλιές κατακαλυμμένες από αιωνόβιους θάμνους, έγινε η φυσική προστασία των κατοίκων του νησιού, που ζούσαν μέσα σ' αυτές τις κοιλότητες που τις αποκαλούσαν καμάρες, εξασφαλίζοντάς την επιβίωση τους από τους πειρατές που λυμαίνονταν το Αιγαίο.

Τα κτίσματα του νησιού, η λαϊκή αρχιτεκτονική τους παρουσιάζει ιδιαιτερότητα ίσως και μοναδικότητα σε όλο στον Αιγαιακό χώρο. Εκμεταλλευόμενοι το δασώδες και ορεινό του νησιού οι κάτοικοι έκτιζαν τα σπίτια τους, τα αντιπειρατικά όπως τα αποκαλούσαν σε ημιορεινές περιοχές μακριά από τη θάλασσα. Η αρχιτεκτονική αυτή απετέλεσαν και τη βάση της μετέπειτα παραδοσιακής ικάριας κατοικίας. Αραιοδομημένοι, διάσπαρτοι, κατάφυτοι οικισμοί, καλύπτονταν πάντα από πυκνή βλάστηση και ήταν σχεδόν αόρατοι από μακριά. Το ιδιόμορφο αυτό κτιστό περιβάλλον και η προσπάθεια των κατοίκων να προβάλλουν το νησί τους και τους ίδιους ως απόλυτα φτωχούς, πράγμα που δεν ανταποκρινόταν πάντα στην πραγματικότητα, έκανε τους κατακτητές να αδιαφορούν για το νησί, με αποτέλεσμα να μείνει σ' ένα βαθμό ανενόχλητο και να έχει μια ιδιότυπη ελευθερία και αυτοδιοίκηση που κράτησε έως τον 18ο αιώνα.

Τον Ιούλιο του 1912 πραγματοποιείται από τους Ικάριους ένοπλη επανάσταση κατά των Τούρκων, την οποία κρυφά ενεθάρρυνε η ελληνική κυβέρνηση και η οποία μετά την επιτυχή έκβασή της συνέστησε στους Ικάριους να κηρύξουν την νήσο ανεξάρτητη, μιας και εκείνη την εποχή η ένωση της Ικαρίας με την Ελλάδα δεν ήταν εφικτή. Έτσι το νησί ανακηρύχτηκε ως Ελεύθερη Αυτόνομη Πολιτεία και καθορίστηκε και σημαία που ήταν κυανή και έφερε λευκό σταυρό στη μέση. Κατά τον σύντομο βίο της Πολιτείας οργανώθηκε η διοίκηση, λειτουργούσαν τελωνείο, ταχυδρομείο, δικαστήρια και συγκροτήθηκε και ισχυρή δύναμη της χωροφυλακής.

Οι εξελίξεις όμως καθώς ξέσπασε ο πρώτος Βαλκανικός Πόλεμος ήταν ραγδαίες. Ένα σώμα Ικάριων που συμμετείχαν στην απελευθέρωση της Χίου, επέστρεψαν στην Ικαρία με το αντιτορπιλικό «Θύελλα» και αποβίβασαν στο νησί ελληνικές δυνάμεις όπου και το κατέλαβαν . Στις 4 Νοεμβρίου 1912 πραγματοποιήθηκε στον Εύδηλο η επίσημη τελετή για την ένωση της Ικαρίας με την Ελλάδα.