La storia della città di Terra Orsaia ha origine intorno alla metà del secolo undicesimo, all'epoca del condottiero normanno Roberto il Guiscardo, quando le incursioni dei pirati, la malaria e la distruzione di Policastro operata dallo stesso Guiscardo (1065) spinsero le popolazioni costiere a spostarsi verso zone più interne del territorio; venne così a costituirsi un primo centro abitato nella Terra Turris Ursajae. 

Il luogo su cui attualmente sorge Castel Ruggero, ospitò intorno al 1150 un accampamento di truppe di Ruggero II il Normanno (da cui il nome Castra Roggerii). Nel 1301 monsignor Pagano, Vescovo di Policastro, deciso a far valere i propri diritti feudali sul territorio della Diocesi, ordinò la costruzione di una sede estiva dell'Episcopio a Torre Orsaia, ed emanò un bando nel quale prometteva, a tutti coloro i quali avessero voluto prendere dimora vicino al Palazzo Vescovile, terra a sufficienza per una casa, una vigna, un orto e un pagliaio, dietro pagamento di un'imposta detta pregata. 

Nel 1301 un nucleo abitativo, per quanto piccolo, esisteva già: il bando di monsignor Pagano e la redazione dei Capitula terre turris ursaye, un codice legale che regolava la convivenza civile e i rapporti della popolazione con il Vescovo-Barone, servirono unicamente a ratificare situazioni e usanze che si erano oramai consolidate nel corso di due secoli.

I moti del 1828 non riuscirono a coinvolgere la popolazione torrese; così non si può dire del fenomeno del brigantaggio: un cittadino torrese, Antonio Fortunato, fu a capo di una banda di briganti che dal 1866 al 1869 imperversò  fra Torre Orsaia, Sapri e il Vallo di Diano. Nel decennio 1880-1890 furono realizzate opere pubbliche di primaria importanza: la strada rotabile (l'attuale Strada Statale 18), la linea ferroviaria Napoli-Reggio Calabria e lo scalo di Torre Orsaia, il cimitero, il telegrafo. 

Per la corrente elettrica dobbiamo aspettare il 22 dicembre 1928. Il resto è storia recente: le due guerre mondiali, con il tragico, ineluttabile tributo di vite umane che anche il nostro paese ha dovuto versare, l'emigrazione, l'emorragia di cervelli e di forza lavoro; qui la storia del nostro Comune si confonde con la storia di mille altri centri del Meridione.