La maison date de 1628 si l'on se fie à l'inscription sur la façade du deuxième étage. Il est probable que l'état actuel soit le résultat d'aménagements successifs et que certaines parties soient plus anciennes. Le monogramme visible sous l’inscription représente une croix avec les lettres A et M entrecroisées. Il est probable que ces lettres fassent référence à l’union entre Anger Morer et Jean Armengau, ce dernier ayant réaménagé l’intérieur de la maison au XVIIe siècle.

Cette maison a appartenu à la famille Morer, la plus fortunée de Finestret du XVe au XIXe siècle. Plusieurs personnalités connues de l’époque ont fréquenté cette demeure, notamment François Jaubert de Passa, marié en 1809 à Françoise Morer, née à Finestret. Le couple vécut dans la maison familiale tout au long du XIXe siècle. Né à Céret en 1785, François Jaubert de Passa est un historien, humaniste, qui a nettement contribué à la reconnaissance du patrimoine roussillonnais, notamment en accompagnant Prosper Mérimée lors de son passage dans le département . Il fut par ailleurs nommé Inspecteur des Monuments Historiques entre 1839 et 1856. L’historien est également connu pour ses recherches sur les dispositifs hydrauliques, traduites dans son « Mémoire sur les cours d’eau et les canaux d’arrosage des Pyrénées-Orientales » publié en 1821. Issu d’une famille noble, il prend le titre de baron le 3 février 1828, inscrit dans une ordonnance de Charles X. Elisa, la fille de Jaubert de Passa, hérite de la maison à son décès en 1856. Son petit-fils, Fernand Dumas, homme d’affaires et amateur d’art, amena de nombreuses personnalités au cours du XXe siècle, dont André Maginot, ancien ministre de la Guerre. Une des chambres de la maison porte d’ailleurs le nom de « chambre Maginot ». Les artistes et écrivains de l’époque comme Daniel et Henry de Monfreid, fréquentèrent de nombreuses fois la demeure. Fernand Dumas installa pour Louis Bauzil un four pour que ce dernier puisse cuire ses propres céramiques.