La costruzione della chiesa, inizialmente dedicata alla Madonna di Versacarro e terminata nel 1645, si deve al Marchese Mario Frangipane che la affidò ai PP. Francescani, rimasti a Nemi fino al 1873.

Fu proprio un francescano, fra' Vincenzo Maria Pietrosanti da Bassiano, che vi scolpì, nel 1669, il crocifisso ligneo da cui la Chiesa prende attualmente il nome.

Si racconta che il frate, tornato a Nemi dopo un pellegrinaggio al Santo Sepolcro, in Palestina, avesse deciso di scolpire la figura del Cristo sulla croce, a grandezza naturale, con un legno che aveva portato con sé dal Monte Calvario. Completati il corpo e le mani, si accinse ad abbozzare il volto, ma il lavoro gli risultò talmente difficile che una sera, preso dalla disperazione, iniziò a pregare intensamente, chiedendo aiuto a Dio.

La mattina successiva si accorse che il viso del Cristo era meravigliosamente completato, come se le sue preghiere fossero riuscite a realizzare l'intervento divino.

Da allora questa opera lignea, a tutto rilievo, ha attirato le genti dei Castelli Romani, non solo per il suo impressionante verismo, ma anche per le grazie che si dice abbia concesso ai pellegrini.

Numerosi pontefici hanno visitato il Santuario, attualmente officiato dai PP. Mercedari: Clemente XI, Clemente XII, Benedetto XIV, Pio VI, Pio VII, Gregorio XVI, Pio IX e, nel 1969, in occasione del terzo centenario del Crocifisso, Paolo VI.