Svoboda měla kostel už v roce 1584. Kostel sv. Adalberta (Vojtěcha) přináležel jako filiální k Mladým Bukům. Vešlo se do něj však velmi málo lidí, takže někteří museli mnohdy stát i venku. V roce 1777 byl starý rozpadající se kostel přestavěn na nový. Postaral se o to kníže Josef Adam ze Schwarzenbergu a nový kostel byl zasvěcen sv. Janu Nepomuckému. Kostelní věž stála na kopci, byla celá ze dřeva a od kostelních vrat k ní vedly dřevěné schody opatřené dřevěným zastřešením. Roku 1836 byla na místě nynějšího kostela postavena kamenná věž. Kostelní zvony byly přemístěny ze staré věže do nové.