Dvorac je služio za obranu grada (i Istre), u 17. stoljeću je obnovljen, a u 19. stoljeću austrijske vlasti su ga srušile.

Danas je sačuvan samo reljef lava sv. Marka koji je 1924. godine postavljen iznad vrata palače Totto ex Gavardo.