Il castello di “Paucinico” viene menzionato in un diploma di Ottone I dell’anno 963, con cui viene donato al vescovo di Belluno che, nel 973, riconfermò l’investitura militare ai signori del castello conferendo il titolo di Conte di Polcenigo al capitano d’arme Fantuccio, che diede origine al nobile casato.
Nel 1410 le milizie udinesi assalirono il castello, diedero alle fiamme il borgo e danneggiarono il castello di Mizza dove si era stabilito un ramo della famiglia. L’anno successivo gli Ungheri presero il castello, poi riconquistato da Venezia, che lo contese ai friulani finchè non se ne impossessò saldamente nel 1420. In seguito ad un’incursione dei turchi nel 1499 il castello venne gravemente danneggiato.
Il nucleo originario venne ampliato a partire dagli inizi del Duecento, comprendendo il borgo circostante, che ancora include edifici notevoli, come i palazzi Scolari e Fullini-Zaja, l’ex convento francescano e alcune torri medievali. Parte del complesso castellano nel Settecento fu radicalmente trasformato su progetto di Matteo Lucchesi, assumendo l’aspetto di una sontuosa villa veneta. Alienato nel 1833, il castello fu drasticamente spoliato.
Il Castello attualmente è ridotto allo stato di rudere.
