Molti uomini devoti, al tempo del Medioevo scelsero il Monte Conero come luogo per passare la propria vita in solitudine, cibandosi di quello che la natura circostante offriva e riposando in grotte appositamente scavate nella roccia: i romitori. Da studi fatti sembra che i romitori siano contemporanei alla Badia di San Pietro, che da un atto del 1037, si può attestare antecedente a tale data, e con tutta probabilità venne edificata nei primi anni del 1000.

La sua costruzione è interamente in Pietra del Conero, a tre  navate e un abside infondo a quella centrale. La badia è priva di decorazioni e lascia la sua particolarità coincidere con la sua purezza e il suo bianco.

Nel '200 la chiesa fu abbellita di pilastri e capitelli nei quali furono intarsiati motivi di flora e fauna che richiamano la bellezza circostante del Monte Conero, uniti a figure spaventose tipiche del medioevo.

Fino al '500 i Benedettini vi vissero con enorme serenità, fino a che l'arrivo di altri 2 ordini religiosi come i seguaci di Gonzaga e i Camaldolesi presero possesso dell'abbadia e delle grotte. Questi  due ordini cominciarono una vera e propria guerra tra loro, che terminò con un incendio del tetto della chiesa che costrinse i Gonzaghiani a lasciare l'eremo, che rimase in mano ai Camaldolesi che lo restaurarono, per poi abbandonarlo solo a fine '800.

Il vecchio monastero dei Benedettini, di fianco alla chiesa, è stato trasformato in un elegante albergo, mentre l'Abbadia di San Pietro al Conero resta a disposizione di chiunque voglia godere di  questo spettacolo custodito nel cuore del Conero.