Bailly-aux-Forges est entouré d'étangs, et l'on croit que la dénomination Bailly s'est formée par corruption de Bas lieu.
Bailly a porté dans l'origine le nom de son église, fanum Leodgarii; puis comme cette église était entourée d'ormes, on a dit Saint Léger aux Ormeaux ; mais cependant la dénomination Bailly est ancienne.

Le chœur de Saint Léger est de style roman. En 1789 la cure était à la nomination de l'abbé de Montierender. La paroisse dépendait de l'élection de Joinville généralité de Champagne et ressortait de la prévôté de Vassy au bailliage de Chaumont.

Les nombreux bancs de crasse qu'on rencontre sur le territoire prouvent qu'il y avait anciennement des forges à bras. Il y avait aussi des tuileries et des fabriques de poteries importantes. La dernière activité industrielle a été une scierie qui a fermé ses portes en 1960.