Tras la conquista a los árabes (1169), el rey Alfonso II el Casto (I de Cataluña) dona en el año 1179 esta villa, y otras de la comarca, a la Orden de Calatrava. El dominio de esta orden religioso-militar se extenderá en La Fresneda durante más de seiscientos años.

Durante este tiempo, el comendador era propietario tanto del castillo como del derecho a los diezmos, entre otras potestades de orden jurídico y económico. Pese a que su residencia oficial era el castillo, las dificultades para su acceso y su utilización tanto como vivienda como almacén, favorecieron la construcción de este edificio, la Casa del Comendador o de la Encomienda, en la parte llana del pueblo, mientras que el castillo se fue abandonando progresivamente y quedó como un elemento ornamental hasta su casi destrucción en 1839, durante las guerras carlistas.

Se trata de un edificio del siglo XVI de estilo renacentista, como  la fachada principal del Ayuntamiento. En la planta baja conserva los trujales donde se depositaban las cosechas que se recaudaban como tributos o diezmos. En el siglo XVIII debió sufrir una reforma considerable como lo atestigua una pintura sobre la puerta fechada en 1711, que hace referencia al infante Don Antonio y al comendador de la época, Medel Fecit.

La monumentalidad del edificio, actualmente de propiedad particular, le hizo merecedor de ser reproducido en el “Pueblo español” de Barcelona con motivo de la Exposición Universal de 1929, al igual que el Ayuntamiento de la villa.