Il castello – probabilmente costruito sui resti di fortificazioni di epoca romana – fu ceduto nel 967 da Ottone I di Sassonia al Patriarca di Aquileia e, nel 1161, Federico Barbarossa lo concesse al Vescovo di Belluno.
Nel 1411 il maniero fu occupato dagli ungheresi comandati da Pippo Spano, capitano generale di re Sigismondo e distrutto nel 1420 dalle milizie venete; fu ricostruito nel 1432 ma poi nuovamente devastato durante le incursioni turche.
Nonostante sia fortemente degradato, sono ancora visibili alcuni tratti di cinta muraria, quattro delle antiche sette torri merlate, i resti del mastio e del torrione originario, la chiesa castellana e la porta fortificata con l’emblema araldico del lupo.
