En retrait de la Saône, le bourg s'est structuré autour de l'église (mentionnée dès 1505), reconstruite après la guerre de Dix ans (1634-1644) à l'instar de nombreux villages en Franche -Comté. 

Le village de Chaux-lès-Port a su conserver son caractère agricole : au cours du 20^e siècle, le bâti récent est peu présent et s'insère de façon harmonieuse dans le paysage.

Monument aux morts :

Le conseil municipal décide en 1920 d'ériger un monument aux morts à côté de l'église. La commune fait appel à la société de G. Halley, sculpteur et marbrier installé à Vesoul. Le monument est mis en place en 1923.

Eglise Saint Agnan

Elle existait en 1505 et fut reconstruite de 1763 à 1765, par les frères Claude-Antoine et Charles Frin, architectes et entrepreneurs. La chaire et les retables des chapelles latérales, encore visibles aujourd'hui, furent exécutés par le menuisier Antoine Goichot, d'après les dessins de Claude-Joseph Bretet, entre 1784 et 1787.
L'église fut reconnue chapelle par le décret du 21 septembre 1812. Le 14 juillet 1859, des travaux communaux furent engagés pour des réparations extérieures menées par l'architecte Dodelier. En février 1927, l'architecte vésulien Louis Humbert réalise des travaux de réfection de la toiture de l'église. Les tuiles sont restaurées sur le versant Ouest et au-dessus du chœur, ou remplacées sur le versant Est par des tuiles neuves provenant de la tuileries de Passavant. Le dôme du clocher est réparé, tandis que la toiture de la sacristie, en bon état, n'est pas touchée.