La relación de la Orden de los Mínimos de San Francisco de Paula con La Fresneda se remonta a 1580, cuando la villa y la encomienda donan a esta orden religiosa la ermita del monte de la Mangranera, actual Santuario de la Virgen de Gracia y lugar donde, según la tradición, se había encontrado una talla de la Virgen.

La orden establece allí un pequeño convento, pero las durísimas condiciones climatológicas obligan a los frailes a cambiar su ubicación y establecerse en el interior de la población.

Las obras de este convento de estilo renacentista, ordenadas por Fray Gregorio de Paula se inician en 1593, pero no es hasta el 1 de noviembre de 1595 cuando la comunidad se instala entre sus muros. Más adelante, en los albores del siglo XVII, se le añade una iglesia.

Desgraciadamente, tanto la Guerra de Sucesión como las Guerras Carlistas hacen estragos en el edificio, quedando únicamente en pie la fachada plateresca y parte de sus muros exteriores. En el siglo XIX, con la Desamortización de Mendizábal, el edificio pasa a manos privadas y así ha llegado hasta nuestros días. En los últimos años, ha sido restaurado y recuperado como una espléndida instalación hotelera que ha conservado la planta del antiguo edificio con un claustro central.