Le Palacio de Buenavista situé sur un promontoire verdoyant, abrite l'état-major de l'armée : achevé à la fin du XVIIIe siècle, c'est le bâtiment le plus ancien de la place. Au début, elle fut la résidence des ducs d'Alba pendant une vingtaine d'années, mais après la mort de la célèbre duchesse, amie proche des toreros et amante présumée de Goya, elle fut habitée par divers hommes politiques ou gouverneurs illustres de la ville, dont Le général Juan Prim, qui a été assassiné dans l'une de ses chambres.