O aumento da importância militar de Olivença teve como consequência a construção de infraestruturas complementares. Assim, criou-se o Paiol de Santa Bárbara, os corpos de guarda para vigilância das portas e os quartéis para alojamento da milícia. A Padaria do Rei é uma delas, também conhecida por outros nomes, em relação com outras das suas funções, como Quartel de Assento. Dispunha do necessário para fabricar 10.000 pães diários. As chaminés cilíndricas dos seus quatro fornos têm-se conservado até à atualidade como se ainda se encontrassem em funcionamento.
Trata-se de um edifício de finais do século XVIII, anexo ao recinto do Castelo e à muralha medieval. A sua fisionomia obedece aos princípios neoclássicos, iniciados em Portugal como consequência da reconstrução da Lisboa arrasada pelo terramoto de 1755, sob as diretrizes do Primeiro Ministro de D. José I, o Marquês de Pombal. Embora as suas raízes surjam mais da sóbria tradição construtiva portuguesa do que de um estilo neoclássico cuja teorização ainda estava dando os seus primeiros passos em Roma. A repetição ritmada dos vãos, resolvida em sóbrias e despojadas jambas de mármore, e ausência de acrescentos ou adornos em qualquer outra parte da fachada, definem este estilo pombalino que também poderíamos denominar de proto-neoclássico português.
Acolhe parte do Museu Etnográfico Extremenho González Santana, destacando-se no piso térreo quatro dependências que albergam a mercearia, a adega, o lagar e a forja. Evidenciam-se também duas salas sobrepostas, sustentadas por colunas octogonais revestidas a mármore rosa, albergando, a de baixo uma coleção de arqueologia da zona e a superior peças de arte sacra.