La Fábrica Ntra. Sra. Del Pilar debe su nombre a la esposa de uno de sus socios fundadores, el político y escritor Antonio Mantilla de los Ríos y Burgos, Marqués de Villa-Mantilla, que estaba casado con María del Pilar de León y de Gregorio, Marquesa de Esquilache, también socia de la empresa, la cual a la muerte de su esposo se quedaría como propietaria de la Fábrica del Pilar
Allí pasaba largas temporadas en una coqueta casa anexa a las propias instalaciones de la fábrica, convirtiéndose en una gran benefactora de nuestra ciudad.