Il convient toutefois de ne pas se méprendre sur cette hostilité de circonstance au lupanar, ce dernier étant avec l’Église le pôle ou s'épanouit le plus certainement la féminité. De celle-ci, Bloy ne veut connaitre que les deux manifestations radicales de la sainte, qu'il vénère, et de la prostituée, qu'il épouserait presque. D'un coté, Anne-Catherine Emmerich et Angele de Foligno, dont le Livre des visions et instructions a été traduit par son pauvre et grand ami Ernest Hello; de l’autre, Anne-Marie Roulé (dans un registre plus convenable, il y aura aussi Berthe Dumont, qui mourra du tetanos dans d'atroces souffrances et, surtout, Jeanne Molbech, avec qui il se marie en 1890 et dont il aura quatre enfants). En ces sujets comme sur tous les autres, Léon Bloy pense absolument : « Il n'y a donc pour la femme, créature temporairement, provisoirement inférieure, que deux aspects, deux modalités essentielles dont il est indispensable que l'Infini s'accommode : la Béatitude ou la Volupté. Entre les deux, il n'y a que l’Honnête Femme, c'est-à-dire la femelle du Bourgeois, le réprouvé absolu qu'aucun holocauste ne rédime. »
