Santa Maria di Valdisasso inizialmente fu un monastero benedettino femminile chiamato volgarmente Romita o Romitella; esso venne donato da Alberto Sassi allora feudatario del luogo alle suore che abbandonarono questa residenza montana alla fine del secolo XIII, trasferendosi a Fabriano.
La tradizione vuole che nel 1210 vi dimorasse Francesco d'Assisi, lasciando tracce nelle leggende del luogo; nel corso del secolo vi soggiornarono per penitenza altri religiosi francescani.
Nel 1406 Chiavello Chiavelli, signore di Fabriano, permutò con le suore questo monastero, poi lo concesse ai Minori Osservanti che lo restaurarono e lo ampliarono facendone il loro convento più importante nelle Marche.
Dal 1865, anno in cui fu soppresso, passò attraverso diversi proprietari, la conseguenza fu che il convento venne abbandonato, dissacrato e ridotto a casa colonica e stalla di bestiame. Per questo monastero Gentile da Fabriano dipinse un polittico (oggi nella pinacoteca di Brera a Milano): una copia di tale opera è da qualche tempo custodita nella chiesetta quattrocentesca annessa all'Eremo. In questo luogo era contenuta l'urna sepolcrale con le ossa di Chiavello Chiavelli e della moglie Lagia, che poi fu trasferita nella chiesetta di Camporege.