Dans l'un des rares quartiers  de Saint Valery en Caux qui a échappé aux bombardements de la  dernière guerre, se niche le cloître des Pénitents. Il fut construit en 1623 pour les Pénitents, religieux du tiers-ordre de Saint François d'Assise. Sous la révolution, il devint le siège du club des Jacobins puis une caserne et  enfin une prison militaire.
En mauvais état, il serait souhaitable que ce lieu magnifique soit restauré.