Het huidig gebouw zou gebouwd zijn in 1750 door toenmalig pastoor Lintermans. De sluitsteen van een deuromlijsting vermeld wel het jaartal 1714 maar waarschijnlijk is die sluitsteen afkomstig van een vroeger gebouw. De bijgebouwen dateren van 1780 – 1783 en werden opgericht met het puin van de toen grotendeels gesloopte kerk. Nieuwe paardenstallen en het koetshuis werden gebouwd in 1857.
Sedert 12 december 2002 is de pastorie een beschermd monument.
Een vroegere pastorie/boerderij werd in 1580 platgebrand tijdens godsdiensttroebelen en die werd heropgebouwd in 1607 door pastoor Le Lateur. In 1622 was daarbij ook een brouwerij vermeld. Later, onder meer in 1624 en 1655 was er sprake van een “omwalde” pastorie. Maar de juiste vestigingsplaats van dat/die vroegere gebouw(en) hebben we nog niet kunnen achterhalen, mogelijk dichter bij de Perlinckbeek.
In de rubriek NIEUWS maakten we op 19 februari en 10 mei 2015 melding dat de gemeente de pastorie van de hand wou doen. Na een tweede oproep in datzelfde jaar kwam dit gebouw voor het eerst in privé bezit. Na de verkoop is de nieuwe eigenares gestart met allerlei opknap-werkzaamheden met veel liefde voor de oorspronkelijke staat van het zeer oude gebouw dat mede het dorpje zo uniek maakt.
Begin van de zomer werd in een bijgebouw, dat vroeger nog dienst deed, eerst als paardenstal en later als “Parochiale Bibliotheek”, een gloednieuwe B&B ingericht onder de sprekende naam van “De Pastorie”. De gegevens daarvan bevinden zich onder de rubriek Horeca in Zegelsem/ Overnachtingen in Zegelsem. Meer over de geschiedenis kan men lezen in het artikel “50 jaar Parochiale Bibliotheek in Zegelsem”, onder de rubriek Vroeger en nu/Bijzondere geschiedenis, op deze website.