La construcción de esta edificación para residencia del Capitán General se inició en 1558 y cumplía una variedad de funciones, entre estas, sede y habitación de los oidores de la Real Audiencia, Caja Real, cuartel del Batallón de Dragones, cárcel, bodegas y huertos.