Collocato nella parte superstite dell'antico mastio, l'Oratorio fu costruito da Alessandro Sanvitale nel 1688 e dedicato a San Carlo Borromeo, come testimonia anche la pala del senese Antonio Nasini che rappresenta il Santo cardinale che unge gli appestati. Vi è anche un affresco di Bartolomeo Schedoni (Formigine di Modena 1570 - Parma 1615), realizzato tra il 1609 e il 1610, che rappresenta la Madonna, il Bimbo e i santi Giuseppe, Chiara, Francesco, Giovanni Battista.
Molto bello è l'altare in marmo, coevo alla costruzione della cappella opera attribuita ad Alberto Oliva.