Un torreón de tres pisos coronado por una estructura de madera

Actualmente, en la parte posterior del palacio existe una calle corta y estrecha que se supone surgió de la demolición de la torre original, por lo que lleva precisamente el nombre de «La Duda». Esta torre existió hasta principios del pasado siglo. Constaba de tres pisos a los que se accedía por una escalera de piedra los dos primeros y una de madera al último. Se había convertido en lugar escogido por los habitantes más jóvenes para sus juegos del escondite. Según relataba Héctor Blanco, actual concejal popular en una de sus «Historias y leyendas», a principios del siglo XX se desprendió un matacán de la torre y mató a uno de los muchachos que jugaban bajo el muro. Y el alcalde de dio orden demoler la torre.