El Palazzo delle Albere debe su nombre a que había que pasar a través de una larga avenida arbolada para llegar desde el centro de la ciudad a esta residencia, construida para la familia Madruzzo. En la entrada de la avenida había un arco llamado «de los tres portones». Originalmente, el acceso principal del edificio daba al lateral de la avenida, donde ahora se puede ver un parque, más pequeño en comparación con el tamaño original debido a la presencia del cementerio monumental.
La falta de documentación impide ubicar el inicio de las obras de construcción con certeza, pero sabemos que fue Gaudenzio Madruzzo quien impulsó el proyecto. Más tarde, su hijo completó el palacio, Cristoforo, príncipe-obispo de Trento en los años cruciales del Consejo, entre 1539 y 1550. Sólo sabemos que se completó antes de 1551, cuando se celebró un banquete en honor a Felipe II de España, hijo del emperador Carlos V, en presencia de Manuel Filiberto de Saboya y otros nobles que llegaron a la ciudad con motivo del famoso Concilio. En cuanto al autor del proyecto, se cree que pudo ser el arquitecto militar Francesco da Gandino.
El exterior del edificio es macizo y austero. De planta cuadrada, está animado por cuatro torres colocadas en las esquinas y, en la fachada principal, tiene una serliana, un elemento compuesto por un arco de medio punto, flanqueado a ambos lados por aberturas coronadas por un arquitrabe. En este caso, en realidad se trata de dos serlianas superpuestas, rodeadas de grandes ventanales.
El palacio está rodeado por un foso y en el centro del techo había originalmente una pequeña torre cuadrangular, como demuestran algunos dibujos antiguos, que ya no existe. De hecho, el palacio sufrió numerosos saqueos.
Curiosidad: en los años que siguieron a la finalización del edificio, el Palazzo delle Albere vivió un período de esplendor durante el cual acogió a numerosos visitantes de gran renombre, incluso a nivel internacional. Los elegantes interiores fueron a menudo escenario de banquetes en honor a los príncipes y embajadores europeos. Por el contrario, entre 1927 y 1933, se convirtió en alojamiento de los trabajadores de la empresa de neumáticos Michelin.