Als nach einer langen Zeit der Betreuung von auswärts 1622 - 1623 die Regierung, der Bischof und die im Kapitel Buchsgau vereinigten Pfarrherren gemeinsam das mächtige Pfarrhaus hatten bauen lassen, konnte es Pfarrer Johann Frei, von 1622 bis 1628 in Wolfwil tätig, als erster Hausherr beziehen. Der stattliche "Pfarrhof" nördlich der Kirche gehört wie der alte Kirchenteil zu den ältesten Gebäuden von Wolfwil. Sie geniessen kantonalen Denkmalschutz. In seinen Amts- und Wohnräumen hat das Pfarrhaus bis heute 35 Pfarrherren beherbergt.

Die Grösse des Bauwerkes von 1623 mit seinen drei Stockwerken, dem steilen Satteldach, den profilierten Staffelfenstern, den Kaffgesimsen und den zum Teil noch vorhandenen Fenstersäulen lässt sich durch die Bedeutung des Wallfahrtsortes und des vorgesehenen Versammlungssaales des Kapitels Buchsgau erklären.

Um 1900 gab Pfarrer Franz Pfluger (1889-1905) den kleinen Landwirtschaftsbetrieb auf. Die ihm folgenden Pfarrherren waren: Emilian Dreier (1906-1911), Candid Gisi (1911-28), Josef Felder (1928-36), Josef Löffler (1936-56), Meinrad Haefeli (1956-1990), Kazimierz Walkowiak (1990 – 2006), Urs-Beat Fringeli (seit 1.9.2007).

1993 wurde das Pfarrhaus einer umfassenden Innenrenovation unterzogen und modernen Bedürfnissen angepasst. Amts- und Wohnräume sind nun klar abgetrennt. Das Pfarramt ist im Parterre des Wohntraktes untergebracht. Es besteht aus einem Büro, einem Empfangszimmer sowie einem Sitzungszimmer. In den oberen Stockwerken stehen Wohnräume zur Verfügung. Bei der neusten Renovation (2007) wurden den Wohnräumen unter anderem neue Bodenbeläge verpasst. Zudem erfolgten eine Fassadenrenovation und die komplette Sanierung der Steildächer von Pfarrhaus und Pfarrschür.

Die alte Dreiteilung des "Pfarrhofes" in Wohnteil, Scheune und Schopf ist bis heute erhalten geblieben. Ausser den beiden nun gläsernen "Scheunentoren" erfuhren die Fassaden keine Veränderungen.