Nel XIII secolo, il borgo fu teatro di lotte tra Camerino e San Severino, passando più volte sotto il controllo delle due città. Nel 1272, a seguito di un accordo, San Severino restituì il borgo a Camerino. Nei primi anni del Trecento, Camerino ne avviò la fortificazione e lo rinominò Castel San Venanzio. Nel 1428, fu assegnato a Gentilpandolfo Da Varano.
La denominazione Castel San Venanzio risale dunque ai primi anni del XIV secolo, dopo la costruzione delle fortificazioni. I toponimi precedenti, come Villa d’Aria e Pieve d’Aria, furono estesi alla valle del Cesolone, generando confusione sull’origine del borgo.
Con l’Unità d’Italia, il paese divenne frazione di Serrapetrona. Fino al 1963, rimase in una condizione di relativo isolamento, accessibile solo tramite una strada poco agevole.
Durante le due guerre mondiali, la comunità offrì il proprio contributo e subì gravi conseguenze, in particolare le rappresaglie tedesche del 1944.
Il borgo ospita la Chiesa di San Lorenzo e nelle vicinanze la Chiesa della Madonna del Ponte, situata a valle dell’abitato e così chiamata per la presenza di un antico ponte nelle vicinanze. Nella località di Sasso Marozzo si trovano invece i ruderi della Maestà, un oratorio già citato in documenti del 1581.