Foi residência de um dos ramos da Família Malafaia e aqui viveram, durante o século XIX e inícios do século XX, alguns dos seus membros, entre os quais Manuel José de Oliveira Malafaia, Corregedor da Comarca de Torre de Moncorvo, que em 1830 casou em Alfândega da Fé, onde faleceu em 1849.
Não se conhece a data de construção do edifício, mas as características essenciais que tinha na segunda metade do século XIX foram mantidas pelo restauro e adaptação a serviços públicos e bancários de finais do século XX. Originalmente a casa de habitação estava rodeada de um amplo quintal que ocupava parte da atual Praça do Município, a rua do lado norte e quase toda a que lhe fica a poente, onde existia um lagar de azeite.