Nella vasta zona archeologica nei pressi della Cala, nel quartiere la Loggia, si trova la fortezza del Castello a Mare, edificato in epoca araba intorno al IX secolo, per il controllo e la difesa del porto di Palermo. La tradizione storica dice che sorgesse su fondamenta islamiche, l'area che versava in totale abbandono, portò con dei recenti scavi archeologici, a testimonianze della costruzione in epoca normanna, all'origine era costituito da un "Mastio" turriforme (Torre Mastra) ed un immenso quadrilatero con dei fossati profondi ancora visibili. C'erano due chiese , una aderente alla Cala riedificata su una probabile preesistenza antica (moschea) dedicata a S. Giovanni Battista, l'altra che era rivolta verso la città S. Pietro la Bagnara sempre del periodo normanno. Residenza preferita dall'Imperatore Federico II, fu successivamente sede del tribunale della Santa Inquisizione spagnola introdotta in Sicilia da Ferdinando d'Aragona nel 1487, con anguste prigioni sotterranee. Il Castello a Mare nel corso dei secoli è stato protagonista di dure battaglie, cosi che da distruzione e ricostruzione fino al 1922, quando su disposizione del governo fascista vennero demolite alcune parti per sistemare le nuove attrezzature portuali. Dal 2006 l'intera area fu interessata da scavi archeologici che hanno permesso di liberare l'area, riportando alla luce gran parte delle strutture originarie, oltre una vasta necropoli di età musulmana.