Один из самых старых, построен в 1398 году по приказу князя Витовта. Каменный замок с пятью башнями был оборонительным укреплением на берегу Немана. Долгое время – резиденция польских и литовских королей, здесь проводились приемы и пышные балы. Много раз перестраивался. В XIX веке передан Российской империи и использовался как военная база. Сейчас там музей и областная библиотека.