La construction du Palais ducal fut commencée par Jean de Clamecy, membre de la famille du Duc de Bourgogne, au 15ème siècle. Les sculptures ornant les deux tourelles octogonales et la tour centrale sont consacrées respectivement à la légende de Saint Hubert, à l'ancêtre fabuleux de la maison de Clèves, Hélias (le Chevalier au cygne) et aux armes héraldiques des Comtes et Ducs de Nevers.