Le château servait à défendre la ville (et l’Istre). Au XVIIe siècle, il a été renové, puis démoli au XIXe siècle par les autorités autrichiennes.
Seul le relief du lion de Saint-Marc, qui a été posé au-dessus de la porte du palais Totto ex Gavardo en 1924, est encore conservé aujourd’hui.
