Το κάστρο του Αετού Ξηρομερου, χτισμένο σε δυσπρόσιτο λόφο σε υψόμετρο 443 μέτρων, πρέπει να κατασκευάσθηκε από τους Βυζαντινούς ανάμεσα στον 4ο και τον 6ο αι. για να αντιμετωπιστούν οι βαρβαρικές επιδρομές. Η οχύρωσή του ολοκληρώθηκε περίπου γύρω στο 1250 από τους Δεσπότες της Ηπείρου Μιχαήλ Α΄ και Θεόδωρο Α΄. Η φυσική οχύρωση της θέσης, σε συνδυασμό με τα ισχυρά τείχη, καθιστούν δύσκολη την κατάληψή του κάστρου. Βορειοδυτικά υπάρχει ένα μονοπάτι προσπέλασης, που είναι σχετικά ομαλό και καταλήγει στην πύλη του κάστρου. Πάνω στον απόκρημνο λόφο το κάστρο φαντάζει σαν αετός καθισμένος στην κορυφή απ’ όπου ελέγχει την κοιλάδα του κεντρικού Ξηρομέρου.
Το κάστρο αποτελούνταν από δύο διαζώματα, από τα οποία το εσωτερικό σώζεται σε καλύτερη κατάσταση και έχει κατασκευαστεί από ακανόνιστους πωρόλιθους και θραύσματα πλίνθων στους αρμούς. Στην ανατολική του πλευρά σώζεται τμήμα πύργου με ίχνη από τον αρχικό του κεραμοπλαστικό διάκοσμο. Δίπλα στον πύργο βρίσκονται τα ερείπια μιας παλαιάς εκκλησίας μικρών διαστάσεων. Στη νοτιοδυτική πλευρά σώζονται οι τρεις υδατοδεξαμενές της πόλης, οι οποίες είναι κατασκευασμένες με επεξεργασμένες πέτρες και πλίνθους. Η μία βρίσκεται σήμερα σε καλή κατάσταση, ενώ οι άλλες είναι μισογκρεμισμένες.
Μετά την κατάληψη της Κωνσταντινούπολης από τους Φράγκους και τους Βενετούς το 1204 στη Δυτική Ελλάδα δημιουργήθηκε από τον Μιχαήλ Α΄ Άγγελο Δούκα Κομνηνό ένα ελληνικό κρατίδιο, το οποίο στη συνέχεια ονομάστηκε Δεσποτάτο της Ηπείρου. Το κράτος αυτό γνώρισε μεγάλη ακμή στα επόμενα χρόνια με ηγεμόνες το Θεόδωρο και το Μιχαήλ Β΄ (αδερφό και γιο του Μιχαήλ Α΄ αντίστοιχα) και επέκτεινε τα όριά του προς βορρά μέχρι το Δυρράχιο και νότια μέχρι τις ακτές της Πελοποννήσου. Επί Θεοδώρου κατάφερε μάλιστα να αποσπάσει από τους Λομβαρδούς τη Θεσσαλονίκη και να καταλάβει όλη σχεδόν την περιοχή από τη Στερεά Ελλάδα μέχρι τη Θράκη. Σε λίγο ο στρατός του Δεσποτάτου έφτασε να απειλεί τους Φράγκους της Κωνσταντινούπολης. Όμως, ηττήθηκε από τους Βούλγαρους και αναγκάστηκε να υποχωρήσει (1230).
Η περιοχή της Ακαρνανίας την εποχή αυτή είχε αμιγές χριστιανικό ελληνικό πληθυσμό. Από το 13ο αι. όμως άρχισε μια αθρόα κάθοδος αλβανικών φυλών από το βορρά, που ζούσαν ως νομάδες και ήταν οργανωμένοι σε φάρες. Οι Αλβανοί εισχώρησαν πρώτα στην περιοχή της Θεσσαλίας και από εκεί στην Ακαρνανία. Μετά τη νίκη τους επί των Ελλήνων στον Αχελώο το 1359 και τον θάνατο του Δεσπότη Νικηφόρου Β΄ εδραιωθήκαν στην περιοχή και δημιούργησαν αλβανικά κρατίδια. Ο Αλβανός Γκίνης Μπούας Σπάτας αναγνωρίστηκε από τον Σέρβο Δεσπότη των Ιωαννίνων Συμεών δεσπότης του Αγγελοκάστρου, των περιοχών του Κάτω Αχελώου και των κάστρων της ευρύτερης περιοχής της Ακαρνανίας, ενώ ο Πέτρος Λιόσας δεσπότης της Άρτας, των Ρώγων και της Αμφιλοχίας. Μετά τον θάνατο του δευτέρου (1374) ο Γκίνης Μπούας Σπάτας κατέλαβε πολλές περιοχές που του ανήκαν και κατέστησε έδρα της επικράτειάς του την Άρτα. Στην Αιτωλοακαρνανία άφησε ηγεμόνα τον αδερφό του Σγουρό Μπούα.
Οι Αλβανοί κράτησαν την περιοχή της Αιτωλοακαρνανίας και τα κάστρα της για περίπου πενήντα χρόνια. Κατά περιόδους το κάστρο του Αετού ήταν έδρα του Αλβανού ηγεμόνα, αφού ήταν σε στρατηγική θέση και στα μισά του δρόμου που ένωνε τη Βόνιτσα με το Δραγαμέστο. Στην περιοχή του Αετού έχουμε από το 14ο αιώνα και εγκατάσταση Αλβανών της φυλής των Μαζαρακαίων. Οι Αλβανοί υπερείχαν στρατιωτικά στην Ακαρνανία, όχι όμως πληθυσμιακά, γιατί η πλειοψηφία των κατοίκων ήταν Έλληνες. Οι Αλβανοί δεσπότες, που κατείχαν τα κάστρα, καταπίεζαν τους ντόπιους και έκαναν επιδρομές στην περιοχή της Λευκάδος, η οποία άνηκε στο Βασίλειο της Νεάπολης και είχε ηγεμόνα τον Κάρολο Α΄ Τόκκο.
Στα τέλη του 14ου αι. ο Κάρολος Α΄ Τόκκος προσπάθησε να καταλάβει τα Ακαρνανικά κάστρα και να σταματήσει τις επιδρομές των Μαζαρακαίων Αλβανών της περιοχής του Αετού. Το 1399 όρισε επικεφαλής τον Γαλάσσο Πεκατόρο, ο οποίος από τη Λευκάδα επιτέθηκε εναντίον τους και καταλαμβάνει το κάστρο του Βάρνακα. Η κατάληψη του Βάρνακα πραγματοποιήθηκε τη νύχτα, όταν ένοπλοι αναρριχήθηκαν στον πύργο και αιχμαλώτισαν το Γκίνη Σπάτα, εξάδελφο του Γκίνη Μπούα Σπάτα, ο οποίος στη συνέχεια δήλωσε υποταγή. Επόμενος στόχος ήταν το κάστρο του Αετού.
Από το Βάρνακα ο στρατός του Τόκκου, υπό τον Σικελό Μάνο Μελιαρέση, άρχισε πόλεμο φθοράς κατά των Αλβανών του Αετού. Η τελική επίθεση έγινε το 1402, όταν τρεις άντρες του Τόκκου μπήκαν κρυφά τη νύχτα μέσα στο κάστρο, κατέλαβαν το γουλά και συνέλαβαν τον ηγεμόνα Μαζαράκη. Έτσι η αλβανική φρουρά αναγκάστηκε να παραδοθή. Οι άνδρες του Τόκκου οργάνωσαν την άμυνα του κάστρου και οδήγησαν τον Μαζαράκη και τους άλλους ομήρους στη Λευκάδα.
Αργότερα ο Κάρολος Α΄ παραχώρησε το κάστρο του Αετού και την περιοχή του στον νόθο του γιο Μενούνο. Όταν ο Κάρολος Α΄ πέθανε (4 Ιουλίου 1429) τον διαδέχτηκε ο ανιψιός του Κάρολος Β΄, γιος του αδερφού του Λεονάρδου, ο οποίος ήρθε σε διαμάχες με τους τρεις νόθους γιούς του Καρόλου. Αυτές οι διαμάχες όχι μόνο προκάλεσαν την είσοδο των Οθωμανών στην περιοχή, αλλά επέτρεψαν και την επικράτησή τους το 1450. Το κάστρο του Αετού εξακολούθησε να παίζει σημαντικό ρόλο και στους πρώτους χρόνους της Τουρκοκρατίας. Η παρακμή του αρχίζει το 1684, όταν ο Βενετός Φραγκίσκος Μοροζίνι κατέστρεψε την πόλη.
Σε μια μεγάλη θολωτή τρύπα στο κάστρο υπάρχουν σταλακτίτες και η παράδοση αναφέρει ότι από εκεί ξεκινάει γαλαρία που καταλήγει στη Μονή του Αγίου Νικολάου (5 χιλ. βορειότερα).
Πηγή: Γ. Μπαρμπαρούσης, Ε. Κουτιβής. "Πόλεις και χωριά του Δήμου Ακτίου-Βόνιτσας".