La più antica torre medievale del feudo di Oria, conosciuta anche come castello, risale al 1307 ed è stata costruita dalla famiglia Dell'Antoglietta (conosciuta all'epoca come de Nantoil o de Nanteuil) come parte del processo di fortificazione. Il castello si trova su una collina delle Murge, sovrastando la pianura salentina. Nel corso dei secoli, il castello è stato modificato e ampliato più volte.

Nel 1450, il principe Giovanni Antonio Orsini Del Balzo ha ristrutturato la torre, ampliandola e trasformandola in una fortificazione. Nel XV secolo, il castello è passato al marchese di Oria Giovanni Bernardino Bonifacio. Nel XVIII secolo, la famiglia Imperiali ha acquistato il castello, che era già in stato di abbandono dal XVI secolo, e lo ha trasformato in una residenza estiva. Hanno anche stabilito un allevamento di cavalli di razza murgese.

Successivamente, il castello è passato alla famiglia Ungaro, che lo ha utilizzato come palazzo ducale. In seguito, è stato affidato al castellano Antonio d'Arco. Ancora oggi, sono visibili elementi architettonici tardo-medievali e rinascimentali. Fino alla fine del XVIII secolo, il castello conservava le merlature e i cannoni, ma sono stati successivamente rimossi.

Nel 1822, una parte delle scuderie è stata convertita in una cappella dedicata al Santissimo Crocifisso. Nel 1830, la chiesa è stata elevata a parrocchia e consacrata dal vescovo di Oria. Nel corso del Novecento, il castello è stato utilizzato come caserma e scuola. È stato parzialmente restaurato ed è attualmente sede del municipio, della galleria d'arte comunale e del museo archeologico municipale.

Una piccola porzione del castello è di proprietà privata, mentre un'ala è di proprietà della parrocchia e attualmente in fase di restauro. La facciata settentrionale del castello è stata modificata più volte, mentre quella meridionale conserva l'antico mastio, che è stato inglobato nel complesso architettonico e funge ora da Sala del Consiglio.