La fortezza aveva la funzione di difesa della città (e dell’Istria), ristrutturata nel XVII secolo e nel XIX fu demolita completamente da parte delle autorità austriache.

L’unica testimonianza del castello è il rilievo in pietra con il leone di San Marco, collocato nel 1924 sulla facciata del palazzo Gavardo.