És una petita illa del cantàbric, unida al continent per un pont de dos arcs. Sobre l'illa hi ha una ermita dedicada a Sant Joan que data del segle X, encara que alguns descobriments daten del segle IX. Juntament amb una altra petita illa veïna, la de Aquech, forma un biòtop protegit, que s'estén des de la localitat de Baquio fins al cap Matxitxaco, al golf de Biscaia.
La paraula gaztelugatxe pot provenir de gaztelu, "castell", i aitz, "roca" o "penya", és a dir "penya del castell" o "castell de la penya".
A l'esplanada i interior de l'ermita s'han trobat enterraments medievals del segle IX i XII. La jurisdicció religiosa a la qual pertany l'ermita és la de la parròquia de Sant Pelayo de Baquio.
L'enclavament religiós ha estat atacat per corsaris en moltes ocasions. En 1593 va patir un atac corsari a mans de Francis Drake en què va ser saquejat, el 1594 va ser atacat per heretges de la Rochelle, sofrint el saqueig i l'assassinat de l'ermità que estava a la seva cura.
Al segle XVIII va ser assaltada per tropes angleses i en la guerra civil espanyola es va produir en les seves aigües la batalla del Cap Matxitxaco on es va enfrontar la marina republicana contra la revoltada.
Al llarg de la història el santuari s'ha incendiat en diverses ocasions. L'últim incendi va tenir lloc el 10 de novembre de 1978 al que va resultar destruïda. Dos anys més tard, el 24 de juny de 1980 es reinaugurava novament.
L'ermita alberga diversos exvots de marins que s'han salvat d'algun naufragi. Segons una tradició una vegada aconseguida l'ermita cal tocar la campana tres vegades i demanar un desig. L'esforç necessari per pujar les escales, es veu àmpliament recompensat amb la fertilitat per a les dones i les curacions miraculoses de malalties.
Santuari marí de La nostra Senyora de Begoña
Als peus dels penya-segats de Gaztelugatxe ha un santuari submarí situat a 12 m. de profunditat, dedicat a la Mare de Déu de Begonya. Allà es troba submergida una talla de la verge de bronze al manganès més plom. Col·locada en 1963 en record de tots van morir i reposen al mar, especialment, pels pescadors (pescadors) de Bermeo que van naufragar a la galerna el 13 d'agost de 1912, fenomen atmosfèric que es va emportar la vida de 143 homes, entre ells 116 bermeans, mentre pescaven a 45 milles del cap Matxitxako.
El lloc es pot albirar des del monòlit de la carretera Bermeo-Bakio, on acudeixen els creients sempre que hi ha temporals per pregar a la Mare de Déu de Begonya que permeti tornar sans i estalvis als seus éssers estimats. El costum data de l'any 1975, quan es va deslligar una tempesta de grans proporcions. Els vaixells bonyitolers estaven tots en el mar, i havia estat un matí esplendorosa, de bona temperatura i una mica de vent. Quan de sobte el cel es va posar fosc com la nit.
Llamps i trons van assotar la regió i van atemorir a la població. Els vents es presentaven en terrorífiques ràfegues violentes. Els vaixells no tindrien temps d'arribar a port. Els veïns de Bermeo van anar al santuari a pregar a la verge i aquesta va calmar el temporal segons diuen i els mariners van tornar sans i estalvis a casa.
Al davant de l'illa trobem el restaurant Eneperi, molt peculiar, de gruixudes parets de pedra i estructura de fusta negra a l'interior. El lloc és molt acollidor i ideal per a provar el lluç farcit de txangurro. Vos recomane visitar el santuari abans de menjar, so perill de no poder pujar el docents i pico escalons que te.
