Farní chrám sv. Matouše byl pravděpodobné postaven již ve 14. století. První zmínka o něm je z roku kdy byli jeho ochránci (patrony) zemané z Kolšova z rodu Závořických, jejichž ostatky jsou pravděpodobně v kostele pohřbeny
V dějinách Dlouhomilova je první zmínka o kapli kolem roku 1510, která byla přestavěna a stala se farním chrámem v polovině 16. století., který ale již za nepokojných let 17. století byl zrušen.