Ce château, construit au 11ème siècle par les comtes d’Albon, était une forteresse implantée hors des remparts.
Sa position stratégique, sur la partie haute de la cité, à la confluence de la rivière Galaure et du Rhône, permettait de contrôler le flux de circulation de la vallée.
Il devint la propriété des Poitiers en 1270, par le mariage d’Aymar IV de Poitiers avec Hippolyte de Bourgogne, elle-même l’ayant reçu en dot de son frère Othon IV.
C’est le 30 décembre 1499 que Diane y naquit. Elle était de belle noblesse. Du côté de son père, Jean de Poitiers, elle était cousine issue de germains avec, Catherine de Médicis, qui deviendra reine de France. Du côté de sa mère, Jeanne de Batarnay, son grand-père Ymbert, était un homme, qui par ses mérites avait su se faire apprécier des quatre rois qu’il avait servis. Tous étaient de valeureux combattants.
Après le décès de sa mère, Anne de Beaujeu, fille de Louis XI, eut la charge de parfaire son éducation et son instruction. Très rapidement elle devint dame d’honneur d’Anne de Beaujeu, puis dame d’honneur de la reine Claude, dame d’honneur de Louise de Savoie, elle sera beaucoup plus tard dame d’honneur d’Anne d’Autriche, sœur de Charles Quint et seconde épouse de François 1er.
Elle épousa le 29 mars 1515, Louis de Brézé, grand sénéchal de Normandie, de plus de quarante ans son ainé. Elle lui donna deux filles, Françoise et Louise.
Veuve depuis 1531, elle devint en 1536, la favorite du futur Henri II, fils puîné de François 1er, dauphin à la mort de son frère aîné.
Pendant plus de vingt ans, elle vécut à ses côtés, faisant oublier Catherine de Médicis par sa beauté et son intelligence. Les chroniqueurs de l’époque la considéraient comme « plus que reine ».
A plusieurs reprises elle revint dans son château, auquel elle était très attachée et fut une véritable bienfaitrice pour sa cité natale.
Elle spécifia dans son testament, qu’elle souhaitait que les mêmes funérailles qui étaient prévues à Anet soient reproduites en l’église de Saint-Vallier, ce qui fut fait.
Elle mourut à Anet, (actuel département de l’Eure et Loir) au sein du château offert par son époux et restauré magnifiquement par ses soins, le : 27 avril 1566, âgée de 66 ans, 3 mois et 27 jours.
Le château fut vendu en 1584, par son petit-fils, Charles de Lorraine, fils de sa fille Louise, et du duc de Guise, Claude II de Lorraine, à Jean de la Croix, seigneur de Chevrières.
La descendance de ce seigneur est toujours propriétaire de ce château qui a eu l’occasion d’abriter au cours de ses mille ans d’Histoire, nombre de personnages célèbres, tels Richard Cœur de Lion, Louis IX, dit Saint-Louis, Henri III et bien d’autres.
Classé au patrimoine le 21 janvier 1944.
