A origem de Brienza é quase certamente lombarda: a raiz burg (lugar fortificado), do topônimo latino Burgentia, apoiaria essa hipótese. O primeiro núcleo parece datar do século VII d.C. A antiga aldeia desenvolve-se principalmente depois do ano 1000, ao redor do castelo.
O sacerdote Giuseppe Paternoster (1823-1888), relatando em um escrito os acontecimentos do lugar onde nasceu, observou que
Difícil , para não dizer impossível, é a origem da nossa cidade, sendo como a de muitas cidades e aldeias do reino embrulhadas nos mistérios da antiguidade. De Brienza não há menção a nenhum escritor; nem há tradições que nos levem à verdade. O local, no entanto, onde encontra-se construído, o que agora chama-se burgo antigo em torno do castelo, sugere naquele período de tempos tempestuosos, em que as invasões bárbaras contínuas forçaram os povos a reduzir-se em lugares quase inacessíveis, para causar massacres e roubos.»
De acordo com Giuseppe Gattini, Brienza era "chamada de Burgentia e não se seria alheia à crença de que poderia ter sido uma reserva de terras burgansáticas feudais posteriores, ou simplesmente uma aldeia." É entre as poucas aldeias de Basilicata que preservou a sua estrutura arquitectónica de aldeia medieval
Brienza tem um centro histórico que é uma das mais belas aldeias medievais do sul da Itália: aqui, entre becos estreitos como tripas e subidas íngremes, antes de chegar ao castelo você pode admirar o 'chiazzino', um portal muito bonito, a Via degli Archi e a Piazza del Municipio.
O castelo Caracciolo di Brienza foi provavelmente uma antiga fortaleza da era angevina, empoleirado em um esporão de rocha sob o qual flui o riacho Pergola, mas da construção hoje permanece apenas a inteira torre de menagem com anexada a torre circular, tipicamente angevina. Ao mesmo tempo, muitas casas estavam encostadas ao solar, a fim de torná-lo ainda mais protegido junto com as muralhas, de acordo com o método das fortificações lombardas. De acordo com alguns historiadores, na realidade, o núcleo original deste castelo remonta ao século VII. O Castelo de Brienza era acessado por uma escada em um aterro que levava à entrada; de acordo com uma antiga lenda, o castelo tinha 365 quartos, um para cada dia do ano.
A história do Castelo e de toda Brienza está fortemente ligada à da família Caracciolo, que o comprou em 1428, tornando Brienza um centro muito prestigiado no qual governou até 1857. Desde então, o castelo passou para as mãos de uma série de diferentes administradores, que começaram a vender vários objetos da mansão; o golpe de graça para a construção foi dado pelos vários terremotos que atingiram Brienza e Basilicata a partir de 1857. Hoje, o castelo e a antiga vila de Brienza servem como um cenário pitoresco para todos os eventos que ocorrem no vilarejo.
Diz-se que entre os muitos personagens que foram alojados, ao longo dos séculos, no Castelo Caracciolo de Brienza (condes, damas, nobres e cavaleiros), um em particular deixou uma marca indelével na memória de todos. Esta é Bianca de Brienza, uma bela mulher que viveu no castelo em torno do meio de 1300.
Bianca era uma senhora que adorava viver em luxo e ostentação, e parece que ela possuía um enorme tesouro, feito de ouro, pedras preciosas, berloques e jóias: destes últimos, Bianca estava literalmente apaixonada, Tanto que, durante as festas e recepções que muitas vezes eram realizadas no Castelo de Brienza, ela aparecia vestida apenas com jóias, e que, às vezes, ela se banhava em uma banheira cheia de moedas de ouro.
A lenda também diz que o tesouro foi guardado na 366ª sala do castelo, que era uma sala secreta e inacessível, da qual apenas Bianca e sua fiel serva sabiam o caminho para acessá-lo. No entanto, um dia, enquanto viajava para Amantea, Bianca foi sequestrada por piratas e levada para Argel, onde um rico paxá se apaixonou por ela e a manteve com ele; a partir daquele momento, todos os vestígios de Bianca da Brienza foram perdidos, e acima de tudo nada se soube do seu tesouro, que, diz-se, ainda está escondido na sala secreta do castelo, ainda inalcançável hoje, e quem tiver a sorte de encontrar este quarto, pode tomar posse do tesouro de Bianca
Em 1644, o castelo foi o "teatro" de outra história intrincada. O proprietário do castelo era o marquês Rodolfo, forçado por necessidade financeira a dar o castelo e a propriedade circundante ao barão Tiburzio, que o deixou temporariamente para ele usar. Rodolfo, apaixonado por Clorinda, sua aluna e convidada (por sua vez apaixonada pelo fazendeiro Eugenio) depois de aprender com seu confidente Enrico de um encontro amoroso entre Clorinda e Eugenio, irritado, afastou Eugenio. Ele revelou que era de fato o barão de Laurente, que foi encarregado pelo irmão de Clorinda, em troca de sua mão, para descobrir como Rodolfo a tratava, tendo tido uma ideia de que o marquês havia dissipado todas as substâncias de sua irmã e estava em dívida.
Enrico aconselhou o marquês a suprimir o falso Eugenio, mas no duelo que se seguiu e que ocorreu entre o confidente e Eugenio, foi Enrico que teve o pior. Clorinda e Eugenio se casaram e perdoaram ao marquês todos os seus erros.
Estas histórias, lendárias da primeira, tiradas da ópera "Rodolfo da Brienza" (drama em três atos, ambientado no castelo de Brienza e sem fundamento histórico; com um libreto de Domenico Bolognese e música de Achille Pistilli, foi apresentado pela primeira vez no Teatro Real do Fundo de Nápoles em 1846) A segunda, nos apresenta no castelo de Brienza, hoje reduzido a ruínas, mas um momento pulsante de vida e mais ou menos grandes dramas existenciais.
