Questo antico edificio fu costruito nel 1086 come monastero femminile camaldolese. Il monastero crebbe di potenza e di importanza grazie a donazioni e privilegi grazie anche alle numerose suore che appartenevano a famiglie illustri e nobili che contribuirono ad accrescere il patrimonio del monastero.
Nel 1300 fu ospitato un famoso pittore Andrea del Sarto che qui fu ospitato per sfuggire da un epidemia di peste scoppiata nella vicina città. Durante la sia permanenza la badessa lo incaricò di realizzare il dipinto sopra l’altare maggiore. Nel quattrocento fu interamente ristrutturato da un progettista di Lorenzo de Medici.
Qui fu realizzato un chiostro rinascimentale e una cappella privata. La struttura divenne un ospedale nel 1868 con decreto reale con sede nel convento. La sua gestione era affidata a oblazioni volontarie dal parte di benefattori. Nel 1990 la struttura fu chiusa e sostituita da un altro ospedale nelle vicinanze. La struttura fu abbandonata a se stessa.
