Il sito, forse già fortificato in epoca tardoantica e utilizzato dai Longobardi, fu anche sede di una cappella al tempo dei Sassoni. Dominio del Patriarca sin dal 1025, nel 1184 era abitato dai Signori di Soffumbergo (dal tedesco Scharfenberg, “monte aguzzo”), vassalli della Chiesa d’Aquileia.
Nel 1298 il castello fu scelto dal Patriarca quale residenza estiva della corte. Tuttavia, gli antichi feudatari, i “domini Sophumbergi”, conservarono il diritto d’abitanza e dopo aspre contese con il casato dei Torriani, ne vennero infine scacciati nel 1352.
Il castello di Soffumbergo – il cui feudo comprendeva anche Campeglio, Raschiacco, Colloredo, Valle e Canale – sembra essere stato distrutto nel 1441 dai cividalesi. Rimangono ancora visibili le fondamenta, mentre l’antica cappella castellana è stata integralmente restaurata.
Nel 1993 vennero effettuati alcuni scavi archeologici che portarono alla luce diversi reperti (ceramiche, armi e utensili risalenti ai secoli XIII-XIV).