La chiesa di San Silvestro è considerata la più antica della città. Si tratta, infatti, di una chiesa romanica, che risale probabilmente al XII secolo, costruita forse su un precedente sacello di epoca altomedievale: la piccola finestra sul muro destro sembra risalire al IX secolo. Importante chiesa Cattolica sino al 1784, San Silvestro è oggi luogo di culto della Comunità Evangelica Riformata, che comprende sia la comunità Elvetica sia quella Valdese.
L’esterno - più volte modificato con apporti barocchi e neoclassici, nel 1928 fu riportato alla primitiva semplicità, evidenziando elementi di pregio: le bifore romaniche, le cinque finestre transennate di gusto orientale, come i capitelli cubici con palmette. In quell'occasione furono scoperti elementi che testimoniano interventi trecenteschi, come la finestra gotica in pietra bianca sul fianco sinistro, nonché i residui di affreschi conservati all'interno (sulla parete destra è riconoscibile una scena di battaglia).
Elementi caratteristici del tempio sono l’antico rosone e il campanile. Romanici sono il protiro, le volte interne e gli archi a tutto sesto. L’acustica interna è davvero eccezionale.