Zwei der drei kleinen Inseln gegenüber Cannero haben bei den Zuschauern immer den Wunsch geweckt darauf zu wohnen, entweder um sich sicher zu fühlen, oder um zu herrschen: zum Beispiel, im XV. Jahrhundert die Brüder Mazzardi aus Cannobio, um sich das Gebiet zu unterwerfen; oder im XVI. Jahrhundert Ludovico Borromeo, um seine Länder zu verteidigen, und noch später seine Nachfolger, für friedlichere Zwecke.
Abgesehen von ihrer politisch-militärischen praktischen Bedeutung, sind sie ein wesentlicher Bestandteil der Szenerie des Sees und ihr Aussehen ändert sich in faszinierender weise je nach Jahreszeit, Wetter und Licht.
Obwohl als ”Castelli di Cannero” bekannt, sind sie eigentlich nie ein Teil von Cannero gewesen, und sind jetzt ein gemeinsames historisches und kulturelles Erbe der Regionen um den See: der Lombardei, des Piemont und desTessin, also sowohl Italiens wie der Schweiz.
Die jetzige Ruine stammt von der zweiten Festung, 1519 von Ludovico Borromeo aufgebaut.
Die vorherige, Malpaga genannt, war so alt wie der Kampf zwischen Kaisertum und Papsttum. Wahrscheinlich viel weniger imposant, war deren strategische Lage doch so bedeutend, dass Filippo Maria Visconti, dritter Herzog von Mailand, eine eigene, wohl organisierte Armee senden sollte, um die rebellischen Brüder zu unterwerfen und die Festung zu zerstören.
Etwa 1402-1403, hatten die Mazzardi Brüder nähmlich die Schwäche der Mailänder Herzöge ausgenützt, um sich Cannobios und der Umgebung, einschliesslich Traffiume und Carmine, zu bemächtigen.
Danach zwangen sie die Einwohner, ihnen dieselben Dienste ihnen zu leisten, die sonst einem Lehnsherrn zukommen, u.a. die Festung zu bauen.
Als die Borromeo - Familie das Seegebiet übernahm, wählte Graf Ludovico, der seine Länder gegen Kaiser, Spanier und Franzosen verteidigen wollte, als Residenz die kleinen Inseln, weil er dort eine neue Feste aufbauen konnte.
Später, als alle Kämpfe aufhörten, wurde die Burg vermietet. Zuerst, 1645, dem Pfarrherrn von Cannero, der darin eine Falschmünzerei verbarg (sic!), später an zuverlässigere Leute, die vertragsgemäss Kaninchen züchteten, oder Zitrusfrüchten anbauen sollten.
Seit dem 18. Jahrhundert, wurden die Gebäude nicht mehr unterhalten, denn die Inseln hatten jede praktische Bedeutung verloren . Doch übten sie immer noch eine Art Zauberei auf ausländische Reisenden aus, wie Caroline von Braunschweig und Prinzessin von Wales.
1815, vom zukünftigen englischen König Georg IV getrennt, liebäugelte sie mit der Möglichkeit, sich in der Feste niederzulassen, wählte aber doch die Isola Madre wegen des üppigen Parks, der das dortige Palais umgibt.
Danach zerfiel die Feste, die jetzt nur als Gelegenheitszufluchtsort benutzt wurde.
Der letzte bekannte Gast war Giuseppe Garibaldi. 1848, während des Vereinigungskrieges Italiens, wurde er von den Österreichern in der Lombardei geschlagen und konnte dort, auf dem Weg zurück nach Piemont, einige Stunden ausruhen.
Vor einigen Jahren, wurde eine Statue der Jungfrau Maria auf dem Westinsel angebracht, leider die einzige positive Handlung in der modernen Geschichte der Castell
