Installée dans un château médiéval, l’actuelle sous-préfecture de Saint-Dizier donne une idée de la fière citadelle qui s’étendait sur près d’un hectare. Au fil des siècles, ce château a été le témoin privilégié de tous les événements qui ont marqué l’histoire de Saint-Dizier. Il a accueilli quelques têtes couronnées, en résidence ou de passage, notamment François 1er en 1542 et 1546, Marie Stuart en 1561, Henri IV et Marie de Médicis en 1603.

Les remparts, entretenus jusqu’au rattachement de la Lorraine à la France en 1776, furent peu à peu démolis ou laissés à l’abandon, et, en 1781, le percement de la route de Ligny coupa le château en deux, ajoutant à la destruction de l’ensemble.

Après la révolution, en 1807, le bâtiment fut déclaré bien national. C’est ensuite que les différents propriétaires particuliers du château ont modifié sa structure, construisant, entre les tours médiévales, une nouvelle résidence où l’actuelle sous-préfecture s’est installée en mars 1959.

Aujourd'hui, les tours et les remparts du château inscrits à l’inventaire des monuments historiques, ont été réhabilités par le biais d'un chantier école employant des bénéficiaires du R.M.I. Depuis 1995, l’association "les amis des remparts de Saint-Dizier", dont le Sous-préfet est président d'honneur, tend à promouvoir un élargissement des connaissances historiques et archéologiques de cet ensemble architectural.