Edifiée dès le XIe siècle par Wilfrid de Virieu, la maison forte de Virieu défendant la vallée de la Bourbe, dans les "terres Froides " du Dauphiné, s'est agrandie au cours de sept siècles. Au XVIIIe, elle sera achevée par la façade de dominant les terrasses aménagées sur les anciens remparts. En 1220, le château sort de la famille par le mariage de Béatrix de Virieu avec Siboud de Clermont dont le donjon domine encore le lac de Paladru.

Le Château appartiendra aux Clermont pendant plus de trois siècles et sera vendu aux Prunier de Saint André qui le garderont aussi trois siècles avant de le revendre, en 1874, aux descendants de ses fondateurs, qui l'habitent encore, Pendant les guerres de religion, en 1622, au retour de la "Paix" de Mompelier " laissant les canons prix aux Calvinistes.