Vanaf 1892 beschikte Zegelsem over een kloostergemeenschap, afhangend van de St.-Vincentiuscongregatie van Deftinge. Het klooster werd gebouwd rechtover de kerk en het kerkhof. De eerste opdracht was het onderwijs dat eerst op de Leierwaarde en vanaf 1894 in het klooster zelf werd verstrekt. Na een paar jaar verruimde de werkkring van de zusters en werd een bejaardentehuis geopend.
In 1921 werd naast het oudere kloostergebouw een nieuwe vleugel bijgebouwd met o.m. een kapel in gotische stijl en een overdekte speelplaats met daarboven een reeks kamertjes. Intussen waren op het domein zelf verscheidene klassen bijgebouwd tengevolge van de uitbreiding van de schoolbevolking. In de loop der jaren ondergingen die gebouwen uiteraard verscheidene kleinere en grotere renovaties. Op 9 juli 1992 vierde Zegelsem zijn “100 jaar Zusters”.
Het jaar 2006 was echter een rampjaar voor deze site. De laatste rusthuisbewoners verlieten Zegelsem eind mei en ook het klooster sloot eind november definitief zijn deuren. De dorpsgemeenschap blijft er sindsdien verweesd achter. Enkel de dorpsschool is nog ondergebracht in het gebouwencomplex.