L'origine di Brienza è quasi sicuramente longobarda: la radice burg (luogo fortificato), dal toponimo latino Burgentia, suffragherebbe tale ipotesi. Il primo nucleo sembra infatti datare al VII secolo d.C. Il borgo antico si sviluppa soprattutto dopo il 1000, tutto intorno al castello.
Il sacerdote Giuseppe Paternoster (1823-1888), raccontando in uno scritto le vicende del luogo dove era nato, osservava che
«malagevole, per non dire impossibile, si è l'origine del nostro Paese, essendo come quella di tante Città e Paesi del Regno ravvolta nei misteri dell'antichità. Di Brienza non fa menzione scrittore alcuno; né vi sono tradizioni che ci guidano al vero. Il sito però ove trovasi edificato, quello che ora chiamasi antico Paese intorno al Castello, accenna a quel periodo di tempi procellosi, in cui le continue invasioni barbaresche costringevano i Popoli a ridursi in luoghi pressoché inaccessibili, per causare stragi e rapine.»
Secondo Giuseppe Gattini, Brienza veniva "nomata Burgentia e non si sarebbe alieni dal credere possa essere stato un accantonamento di terre burgansatiche ridivenute poi feudali, o semplicemente un borgo." È tra i pochi paesi della Basilicata che ha conservato la sua struttura architettonica di borgo medioevale
Brienza possiede un centro storico che è uno dei borghi medievali più belli dell’Italia meridionale: qui, tra vicoli stretti come budelli e ripide salite, prima di raggiungere il Castello si possono ammirare il ‘Chiazzino’, un portale molto bello, la ‘Via degli Archi’ e la Piazza del Municipio.
Il castello Caracciolo di Brienza era probabilmente un’antica fortezza di epoca angioina, arroccata su di uno sperone di roccia sotto il quale scorre il torrente Pergola, ma della costruzione oggi rimane solo l’intero mastio con annessa la torre circolare, di fattura tipicamente angioina. Un tempo, molte case erano addossate al maniero, allo scopo di renderlo ancora più protetto assieme alla cinta muraria, secondo il metodo delle fortificazioni longobarde. Secondo alcuni storici, in realtà, il nucleo originario di questo castello risale addirittura al VII secolo. Al Castello di Brienza si accedeva tramite una scalinata posta su di un terrapieno, che conduceva all’ingresso; secondo una leggenda antica il castello possedeva 365 stanze, una per ogni giorno dell’anno.
La storia del Castello e di tutta Brienza è fortemente legata a quella della Famiglia Caracciolo, che lo acquistò nel 1428 facendo di Brienza un centro molto prestigioso nel quale governò sino al 1857. Da allora, il Castello passò in mano ad una serie di diversi amministratori, i quali cominciarono a vendere diversi oggetti del maniero; il colpo di grazia alla costruzione fu dato dai diversi terremoti che colpirono Brienza e la Basilicata a partire proprio del 1857. Oggi, il castello ed il borgo antico di Brienza fungono da cornice pittoresca per tutte le manifestazioni e gli eventi che si svolgono nel paese.
Si narra che tra i numerosi personaggi che sono stati ospitati, nei secoli, presso il Castello Caracciolo di Brienza (conti, dame, nobili e cavalieri), uno in particolare abbia lasciato un’impronta indelebile nel ricordo di tutti. Si tratta di Bianca da Brienza, una bellissima donna che visse nel castello attorno alla metà del 1300.
Bianca era una dama che amava vivere nel lusso e negli sfarzi, e pare che possedesse un ingente tesoro, fatto di ori, pietre preziose, monili e gioielli: di questi ultimi, Bianca era letteralmente innamorata, a tal punto che, durante le feste ed i ricevimenti che spesso si tenevano nel Castello di Brienza, ella si presentava vestita di soli gioielli, e che, a volte, facesse il bagno in una tinozza piena di monete d’oro.
La leggenda dice anche che il tesoro fosse custodito nella 366ma stanza del castello, che era una stanza segreta ed inaccessibile, di cui solo Bianca e la sua fedele ancella conoscevano il modo per accedervi. Tuttavia, un giorno, mentre viaggiava verso Amantea, Bianca fu rapita dai pirati e portata ad Algeri, dove un ricco pascià si innamorò di lei e la trattenne con se; da quel momento, si perse ogni traccia di Bianca da Brienza, e soprattutto non si seppe più nulla del suo tesoro, che, si narra, è ancora nascosto nella stanza segreta del castello, tutt’oggi introvabile, e chi avrà la fortuna di trovare questa stanza, potrà impossessarsi del tesoro di Bianca.
Nel 1644 il castello fu "teatro" di un'altra intricata vicenda. Proprietario del castello era il marchese Rodolfo, costretto per necessità finanziarie a cedere il castello e il podere circostante al barone Tiburzio, che gliene lasciava provvisoriamente l'uso. Rodolfo, innamorato di Clorinda, sua pupilla e ospite (a sua volta innamorata del fattore Eugenio) dopo aver appreso dal suo confidente Enrico di un incontro amoroso tra Clorinda ed Eugenio, adirato, scacciò Eugenio. Costui rivelò di essere in realtà il barone di Laurente, incaricato dal fratello di Clorinda, in cambio della sua mano, di scoprire come Rodolfo la trattasse, avendo avuto sentore del fatto che il marchese aveva dissipato tutte le sostanze della sorella ed era pieno di debiti.
Enrico consigliò il marchese di sopprimere il finto Eugenio, ma, nel duello che ne seguì e che si svolse tra il confidente ed Eugenio, fu Enrico ad avere la peggio. Clorinda ed Eugenio si sposarono e perdonarono al marchese tutte le sue malefatte.
Queste storie, leggendaria la prima, tratta dal dramma lirico "Rodolfo da Brienza" (dramma in tre atti, ambientato nel castello di Brienza e privo di fondamento storico; su libretto di Domenico Bolognese e musica di Achille Pistilli, fu rappresentato per la prima volta nel Real Teatro del Fondo di Napoli nel 1846) la seconda, ci introducono nel castello di Brienza, oggi ridotto a rudere, ma un tempo palpitante di vita e di più o meno grandi drammi esistenziali.
