El origen de Brienza es casi seguramente longobarda: la raíz burg (lugar fortificado), por el topónimo latino Burgentia, apoyaría esta hipótesis. El primer núcleo parece datar del siglo VII d.C. El burgo antiguo se desarrolla sobre todo después del 1000, todo alrededor del castillo.
El sacerdote Giuseppe Paternoster (1823-1888), relatando en un escrito las vicisitudes del lugar donde nació, observaba que
«Lamentable, por no decir imposible, es el origen de nuestro pueblo, siendo como la de tantas ciudades y pueblos del Reino que se enrolla en los misterios de la antigüedad. De Brienza no hace mención ningún escritor; ni hay tradiciones que nos guíen a la verdad. Pero el sitio donde se encuentra edificado, el que ahora se llama antiguo pueblo alrededor del castillo, alude a aquel período de tiempos procelosos, en que las continuas invasiones bárbaras obligaban a los pueblos a reducirse a lugares casi inaccesibles, para causar masacres y robos.»
Según Giuseppe Gattini, Brienza era "nómada Burgentia y no se quedaría ajena a creer que podría haber sido una reserva de tierras burgansáticas que luego se convirtieron en feudales, o simplemente un pueblo." Es uno de los pocos pueblos de Basilicata que ha conservado su estructura arquitectónica de pueblo medieval
Brienza posee un centro histórico que es uno de los pueblos medievales más bellos del sur de Italia: aquí, entre estrechas callejuelas como tripas y empinadas subidas, antes de llegar al Castillo se puede admirar el Chiazzino, un portal muy bonito, la calle de los arcos y la plaza del ayuntamiento.
El castillo Caracciolo di Brienza era probablemente una antigua fortaleza de la época angevina, encaramado sobre un espolón de roca bajo el cual fluye el torrente Pergola, pero de la construcción hoy solo queda todo el torreón con la torre circular anexa, de factura típicamente angevina. Antiguamente, muchas casas estaban adosadas a la mansión, con el fin de hacerlo aún más protegido junto con la muralla, según el método de las fortificaciones lombardas. Según algunos historiadores, el núcleo original de este castillo se remonta al siglo VII. Al Castillo de Brienza se accedía a través de una escalinata colocada sobre un terraplén, que conducía a la entrada; según una leyenda antigua el castillo poseía 365 habitaciones, una para cada día del año.
La historia del castillo y de toda Brienza está fuertemente ligada a la de la Familia Caracciolo, que lo compró en 1428 haciendo de Brienza un centro muy prestigioso en el que gobernó hasta 1857. Desde entonces, el castillo pasó a manos de una serie de diferentes administradores, los cuales comenzaron a vender varios objetos de la mansión; el golpe de gracia a la construcción fue dado por varios terremotos que golpearon Brienza y Basilicata a partir de 1857. Hoy en día, el castillo y el antiguo pueblo de Brienza sirven de marco pintoresco para todos los eventos y eventos que tienen lugar en el pueblo.
Se cuenta que entre los numerosos personajes que han sido acogidos, a lo largo de los siglos, en el Castillo Caracciolo de Brienza (condes, damas, nobles y caballeros), uno en particular ha dejado una huella indeleble en el recuerdo de todos. Se trata de Bianca da Brienza, una hermosa mujer que vivió en el castillo alrededor de la mitad del siglo XIV.
Bianca era una dama a la que le gustaba vivir en lujos y ostentación, y aparentemente poseía un gran tesoro, hecho de oro, piedras preciosas, abalorios y joyas: de estos últimos, Bianca estaba literalmente enamorada, hasta tal punto que, durante las fiestas y recepciones que a menudo se celebraban en el Castillo de Brienza, ella se presentaba vestida solo de joyas, y que, a veces, se bañaba en una tina llena de monedas de oro.
La leyenda también dice que el tesoro estaba guardado en la habitación 366 del castillo, que era una habitación secreta e inaccesible, de la que solo Bianca y su fiel sirviente conocían la forma de acceder. Sin embargo, un día, mientras viajaba a Amantea, Bianca fue secuestrada por los piratas y llevada a Argel, donde un rico pasha se enamoró de ella y la retuvo con él; desde ese momento, se perdió todo rastro de Bianca de Brienza, y sobre todo no se supo nada de su tesoro, que, se dice, sigue escondido en la habitación secreta del castillo, aún hoy imposible de encontrar, y quien tenga la suerte de encontrar esta habitación, podrá apoderarse del tesoro de Bianca.
En 1644 el castillo fue "teatro" de otra historia intrincada. El propietario del castillo era el marqués Rodolfo, obligado por necesidad financiera a ceder el castillo y la finca circundante al barón Tiburzio, que le dejaba provisionalmente el uso. Rodolfo, enamorado de Clorinda, su pupila y su huésped (a su vez enamorada del granjero Eugenio) después de haber aprendido de su confidente Enrico un encuentro amoroso entre Clorinda y Eugenio, enfurecido, expulsó a Eugenio. Éste reveló que en realidad era el barón de Laurente, encargado por el hermano de Clorinda, a cambio de su mano, para averiguar cómo Rodolfo la trataba, habiendo tenido la sensación de que el marqués había disipado todas las sustancias de su hermana y estaba lleno de deudas.
Enrique aconsejó al marqués suprimir al falso Eugenio, pero, en el duelo que siguió y que se desarrolló entre el confidente y Eugenio, fue Enrique quien tuvo la peor parte. Clorinda y Eugenio se casaron y perdonaron al marqués todas sus fechorías.
Estas historias, legendaria la primera, tomada del drama lírico "Rodolfo da Brienza" (drama en tres actos, ambientado en el castillo de Brienza y sin fundamento histórico; sobre libreto de Domenico Bolognese y música de Achille Pistilli, fue representado por primera vez en el Real Teatro del Fondo de Nápoles en 1846) la segunda, nos introducen en el castillo de Brienza, Hoy reducido a ruinas, pero una vez palpitante de vida y más o menos grandes dramas existenciales.
