L’origine de Brienza est presque certainement lombarde : la racine burg (lieu fortifié), du toponyme latin Burgentia, appuierait cette hypothèse. Le premier noyau semble en effet dater du VIIe siècle après J.-C. Le bourg antique se développe surtout après 1000, tout autour du château.
Le prêtre Giuseppe Paternoster (1823-1888), racontant dans un écrit les événements du lieu où il est né, observait que
« Difficile, pour ne pas dire impossible, on est l’origine de notre village, comme celle de tant de villes et de villages du Royaume qui s'enveloppent dans les mystères de l’antiquité. De Brienza ne fait aucune mention écrivain; ni il y a des traditions qui nous guident à la vérité. Mais le site où il se trouve construit, celui qui est maintenant l’ancien bourg autour du château, fait allusion à cette période tempétueuse, où les invasions barbaresques continuelles obligeaient les peuples à se réduire à des endroits presque inaccessibles, pour causer des massacres et des vols.»
Selon Giuseppe Gattini, Brienza était "nommée Burgentia et on n’aurait pas été étranger à la croyance qu’il pourrait avoir été une mise en réserve de terres bourgansantiques redevenues ensuite féodales, ou simplement un bourg." C’est parmi les quelques villages de la Basilicate qui a conservé sa structure architecturale de bourg médiéval
Brienza possède un centre historique qui est l’un des plus beaux villages médiévaux du sud de l’Italie : ici, entre des ruelles étroites comme des boyaux et des montées raides, avant d’atteindre le château, on peut admirer le Chiazzino, la rue des Arcs et la Place de la Mairie.
Le château Caracciolo de Brienza était probablement une ancienne forteresse de l’époque angevine, perchée sur un éperon rocheux sous lequel coule le torrent Pergola, mais de la construction il ne reste aujourd’hui que tout le donjon avec la tour circulaire attenante, de facture typiquement angevine. Autrefois, de nombreuses maisons étaient adossées au manoir, dans le but de le rendre encore plus protégé avec les remparts, selon la méthode des fortifications lombardes. Selon certains historiens, en réalité, le noyau originel de ce château remonte jusqu’au VIIe siècle. On accédait au Château de Brienza par un escalier situé sur un remblai, qui conduisait à l’entrée; selon une légende ancienne, le château possédait 365 chambres, une pour chaque jour de l’année.
L’histoire du Château et de toute Brienza est fortement liée à celle de la Famille Caracciolo, qui l’acheta en 1428 faisant de Brienza un centre très prestigieux dans lequel il gouverna jusqu’en 1857. Dès lors, le château passa entre les mains d’une série d’administrateurs qui commencèrent à vendre différents objets du manoir ; le coup de grâce à la construction fut donné par les différents tremblements de terre qui frappèrent Brienza et la Basilicate à partir de 1857. Aujourd’hui, le château et l’ancien village de Brienza servent de cadre pittoresque pour toutes les manifestations et les événements qui se déroulent dans le village.
On raconte que parmi les nombreux personnages qui ont été accueillis, au cours des siècles, au Château Caracciolo de Brienza (comtes, dames, nobles et chevaliers), un en particulier a laissé une empreinte indélébile dans la mémoire de tous. Il s’agit de Bianca de Brienza, une belle femme qui a vécu dans le château vers le milieu du 1300.
Bianca était une dame qui aimait vivre dans le luxe et l’opulence, et il semble qu’elle possédait un énorme trésor, fait d’or, de pierres précieuses, de bijoux et de joyaux : de ces derniers, Bianca était littéralement amoureuse, à tel point que, pendant les fêtes et les réceptions qui se tenaient souvent dans le Château de Brienza, elle se présentait vêtue de joyaux seulement, et que, parfois, elle se baignait dans une baignoire remplie de pièces d’or.
La légende dit aussi que le trésor était gardé dans la 366ème chambre du château, qui était une pièce secrète et inaccessible, dont seule Bianca et sa fidèle servante connaissaient le moyen d’y accéder. Cependant, un jour, alors qu’elle voyageait vers Amantea, Bianca fut enlevée par les pirates et emmenée à Alger, où un riche pacha tomba amoureux d’elle et la retena avec lui; à partir de ce moment-là, on perdit toute trace de Bianca de Brienza, et surtout on ne sut plus rien de son trésor, qui, dit-on, est encore caché dans la chambre secrète du château, toujours introuvable aujourd’hui, et qui aura la chance de trouver cette chambre, pourra s’emparer du trésor de Bianca.
En 1644, le château fut le "théâtre" d’une autre histoire complexe. Le propriétaire du château était le marquis Rodolfo, contraint par nécessité financière de céder le château et les terres environnantes au baron Tiburzio, qui lui en laissait provisoirement l’usage. Rodolphe, amoureux de Clorinda, sa pupille et sa hôte (à son tour amoureuse du facteur Eugène) après avoir appris de son confident Henri d'une rencontre amoureuse entre Clorinda et Eugène, en colère, chassa Eugène. Celui-ci révèle qu’il est en réalité le baron de Laurente, chargé par le frère de Clorinda, en échange de sa main, de découvrir comment Rodolphe la traite, ayant eu le sentiment que le marquis avait dissipé toutes les substances de sa sœur et était plein de dettes.
Henri conseille au marquis de supprimer le faux Eugène, mais, dans le duel qui s’ensuit et qui se déroule entre le confident et Eugène, c’est Henri qui a le pire. Clorinda et Eugène se marièrent et pardonnèrent au marquis tous ses méfaits.
Ces histoires, la première légendaire, tirée du drame lyrique "Rodolfo da Brienza" (drame en trois actes, situé dans le château de Brienza et sans fondement historique; sur un livret de Domenico Bolognese et de la musique d’Achille Pistilli, il a été représenté pour la première fois dans le Real Teatro del Fondo de Naples en 1846), nous introduisent dans le château de Brienza, aujourd’hui réduit à des ruines, mais un temps palpitant de vie et de plus ou moins grands drames existentiels.