L’origine du château remonte au Xe siècle, lors de l’intégration du Cotentin dans le duché de Normandie.
Le château de Saint-Sauveur-le-Vicomte est constitué de deux enceintes successives,délimitant une haute et une basse-cour.
Cet ensemble, jadis augmenté d’une troisième enceinte protégeant le bas du bourg, est représentatif de l’architecture militaire de l’époque de la Guerre de Cent ans. La construction est achevée entre 1356 et 1375. Endommagé lors du siège de 1375, l’édifice, restauré par le roi Charles V, a fait l’objet de divers aménagements dans le courant du XVe siècle.
La tour sud, dite au XVe siècle « Tour d’Aillet ». Elle abrite deux étages d’habitation munis de fenêtres à banquettes, de cheminées, de placards et de lavabos en pierre. Cette tour est traditionnellement nommée la « tour des prisons », affectation qui ne date en fait que de la fin du XVIIe siècle. De nombreux graffitis de prisonniers y sont encore parfaitement lisibles.