Il Complesso cd. dei Cappuccini, costituito dal convento e dalla Chiesa, originariamente dedicata a “S. Croce ai Cappuccini”, oggi alla “Madonna della Fiducia”, si trova alla fine di Viale Mannelli, in posizione elevata rispetto alla Città, da cui rimaneva esterno alle mura che giravano intorno a Rocca Pia.
Furono edificati nei primi anni del 1600 per iniziativa del Vescovo di Veroli, il tiburtino Eugenio Fucci, e inaugurata nel 1611 dal Card. De Giojosa, Vescovo di Ostia e protettore dei Cappuccini.
La chiesa, con funzione di Parrocchia, svetta in cima alla salita da cui si accede al complesso con una facciata molto semplice in cui spicca un bel portale su cui si apre un finestrone rettangolare.
All’interno sono conservate alcune tele ed olii, ascrivibili al secolo VII, di altissimo valore storico-artistico: in una si ammira la “Crocifissione dei Santi” in cui compaiono, tra diverse figure, S. Giovanni, Santa Sinforosa con i sette figli e il Vescovo Fucci, che aveva donato il terreno su cui sorsero la Chiesa ed il convento dei Cappuccini.
Ai piedi della croce sono raffigurati la vecchia Porta Santa Croce, una torre della Rocca Pia con gli archi dell’Acquedotto Rivellese, la Chiesa di S. Francesco e il convento dei Cappuccini con la Chiesa.
Altre tele sono attribuite dal Crocchiante a Frate Vitale Cappuccino, attivo nel secolo VII.
Numerose iscrizioni sono relative sia alla consacrazione della Chiesa (prima consacrazione del 1611 e seconda del 1837) che alle lapidi sepolcrali in marmo.