Il Palazzo del Cavaliere si affaccia sulla Piazza Orsini del Balzo, insieme alla Chiesa di Sant'Anna e una porzione del Castello. È uno dei tre spazi pubblici sorti alla fine del Seicento, in seguito alla caduta delle mura e dei sistemi difensivi, insieme alla Piazza dei Fogliami, antistante al cinquecentesco Palazzo dell'Ospedale, e alla Piazza dei Nobili, di fronte alla Collegiata. Originariamente di proprietà della famiglia Parisi, il palazzo è stato utilizzato come caserma per alloggiare le truppe e attualmente è soggetto a vincoli e tutela ai sensi dell'articolo 1 della Legge 1089/1939. Il suo portale presenta lesene corinzie sovrapposte con bugne alternate, un trabeazione con cornice sporgente che sostiene una balconata divisa in tre archi, adornati con motivi floreali. Si ritiene che il palazzo risalga alla fine del XVII secolo o all'inizio del XVIII. La proprietà del palazzo è passata alla Curia, la quale ha in programma di creare un Museo Diocesano all'interno dell'edificio.