Parafia powstała prawdopodobnie pod koniec XIV w. z fundacji Jana z Kucic. Po raz pierwszy wzmiankują o niej źródła w drugiej połowie XV w. W 1598 r. wybudowano kościół pod wezwaniem Świętej Trójcy. Świątynia istniała zapewne wcześniej, ale brak wzmianek o jej istnieniu. Obecny kościół wybudowano w 1783 r. Gruntowny jego remont przeprowadzono po II wojnie światowej w latach 1960 i 1974. Wśród zabytków sztuki sakralnej na uwagę zasługują: ołtarz główny wczesnobarokowy z połowy XVII w., obraz koronacji Matki Bożej z XVII-XVIII w., ambona z początku XVII w., chrzcielnica późnorenesansowa z początku XVII w. oraz kropielnica granitowa z XV-XVI w.

Według tradycji kościół parafialny w Guminie zbudowano w 1248 r. z fundacji bpa płockiego Andrzeja i kapituły katedralnej płockiej. Po jego zniszczeniu w połowie XVI w. wybudowano nowy, murowany, który konsekrował w 1564 r. bp Jan Biliński. Prawdopodobnie świątynia w następnych latach była rozbudowywana lub uległa zniszczeniu, skoro z 1648 r. jest zachowana informacja o konsekracji świątyni dokonanej przez bpa Wojciecha Tolibowskiego. Podczas I wojny światowej w 1915 r. kościół spłonął. Po wojnie wybudowano nową świątynię, odremontowaną w latach 1955-1973. W latach 1989-1991 wybudowano plebanię. Do zabytków sztuki sakralnej znajdujących się w świątyni należą: kropielnica granitowa z XV-XVII w., kielich gładki z XVIII w. oraz ornaty z XVII i XVIII w.