Был основан в 1266 году К. Мандерном. Прежнее наименование – Вейсенштейн, что значит белокаменный. Пайде произошло от «пae», в переводе с эстонского – известняк, материал из которого и был сделан замок. Сначала воздвигли главную башню: Длинный Герман, но оказалось уже много башен с таким названием, поэтому переименовали в Vallitorni. Позднее были сооружены стены, 2 башни меньшего размера. Сегодня здесь разместился музей.