Le Centre d'art emprunte son nom au peintre veneusien Camille Varlet, né en 1872 à Veneux-les-Sablons, mort à l'âge de 80 ans dans cette même ville en 1952.
Il a été élève de Sisley et a peint de nombreuses toiles de la rivière et ses péniches. Sensible à la nature, à l'humain, il choisit comme sujets les moissons aux champs, la quiétude des troupeaux de vaches, les paysages des bords de Seine.
Cheminot aiguilleur, il est également syndicaliste engagé en politique, et se consacre à sa ville de Veneux en siégeant 25 ans au conseil municipal.