Em meados do século XV acorda-se instalar o edifício das Casas da Câmara, à direita da porta da Graça, apoiado sobre a muralha medieval. A designação de Palácio dos Duques de Cadaval que tem chegado até aos nossos dias é um equívoco. Com efeito, este edifício nunca foi o palácio dos Duques de Cadaval, devendo o seu nome ao facto destes terem sido em tempo alcaides-mores de Olivença.
A sua fachada estrutura-se em dois andares. No inferior destacam-se dois grandes vãos: o portal principal em estilo manuelino e outra à sua direita, com aduelas. No lado esquerdo, junto da porta da Graça, a antiga porta de acesso ao andar superior apresenta o adintelado típico em mármore. Sobre a mesma, uma lápide, também em mármore, reproduz o escudo português flanqueado pela esfera armilar, símbolo das conquistas ultramarinas, e as armas de Olivença. Os elementos do escudo nacional português foram apagados para dedicar a pedra à rainha Isabel II. Posteriormente regravou-se uma inscrição no seu lugar, para celebrar a constituição espanhola de 1845.
Na parte superior destacam-se os vãos gradeados e uma varanda corrida onde ondeiam as bandeiras de Europa, Espanha, Extremadura e Olivença.
A singular porta manuelina tem-se convertido no símbolo identificativo da cidade. Nela reproduzem-se os elementos característicos do estilo nacional português, que deve o seu nome ao rei D. Manuel I, o Venturoso: decoração profusa do intradorso através do recurso a elementos vegetalistas; arco polilobulado de influência árabe; esferas armilares, divisa de D. Manuel I e símbolo das conquistas ultramarinas e remate do conjunto com a Cruz de Cristo. No motivo central destacam-se as armas portuguesas, rodeando a torre e a oliveira, escudo de Olivença.
É possível que esta porta estivesse originalmente na entrada principal da vizinha Igreja da Madalena, o que está por demonstrar cientificamente.
Distribuído em dois andares, não apresenta elementos dignos de destaque. A atual Sala de Actos, permite ver a muralha medieval desde a sua parede de fundo e uma abóbada imitando nervuras, construídas em material de obra comum, tal como os escudos das suas chaves, com as armas de Portugal, de Olivença e outra por determinar.