Ud for Vester Vedsted lå engang ladepladsen Vedstedgård Havn, hvorfra Christian V i 1689 sendte 7.000 danske hjælpetropper til England for at hjælpe den engelske konge, William III, i kampen mod landets katolikker. Fra 1864 til 1920 var Vester Vedsted et af de sydligste danske sogne.
Sognet var et såkaldt blandet sogn med jord fordelt mellem kongeriget Danmark og hertugdømmet Slesvig, men overvejende med dansk jord. Den slesvigske del hørte under Haderslevhus, den danske del under Riberhus, og mellem 1864 og 1920 gik grænsen ved Spækbro syd for Fløjdiget. Vester Vedsted Kirke ligger på landsbyens højeste punkt mod vest. Mange flygtninge gik gennem Vadehavet og brugte kirkerne som landkendetegn. og når grænseoverløberne så kirketårnet i Vester Vedsted, vidste de, at de snart var i sikkerhed.
Kirken og præstegården ligger på et værft, dvs. en forhøjning, som indtil Ribediget fra Vester Vedsted til Store Darum blev opført 1911-1915, sikrede bygningerne mod oversvømmelse i tilfælde af stormflod. Kirken er opført ca. 1175-1200, og præstegården er fra 1738.