L’anno di fondazione del castrum è il 1025, quando il Patriarca di Aquileia concesse in feudo un colle e diede licenza al feudatario originario di Augusta di costruirvi un castello (l’avvenimento è tramandato in una lapide antica ancora conservata). Il castello appartiene ancora a questo casato, che assunse il predicato di Prampero.
Già alla fine del Duecento il complesso era notevolmente articolato, con più circuiti murati, porte, torri, chiesa castellana e molti fabbricati. Si distinguono tre torri inserite nel muro di cinta del castello romanico: la torre Gemona a nord-ovest, la torre Nord (risalente all’anno di fondazione) e a sud-est la torre Tarcento con la cappella dei Santi Simone e Giuda dell’XI secolo. La prima, anch’essa forse anteriore al Mille, fungeva da residenza. Il Portale dei Leoni, che si apre sulla facciata meridionale, documenta un ampliamento dell’edificio di epoca ghibellina. Due erano i palatia: quello che congiunse la torre Gemona con la torre Nord e quello rovinato accanto alla Torre Tarcento.
Il castello, che subì il saccheggio e l’incendio del giovedì grasso del 1511, fu restaurato soltanto a partire dal 1567, tralasciando nella ricostruzione le opere di difesa ormai obsolete. Il maniero prese allora l’aspetto che mantenne fino al crollo del 1976. In seguito è stata ricostruita la torre nord coperta con loggia, il palatium, il muro di nord-est, il portale in pietra che immette nella corte e sono stati messi in sicurezza i percorsi che costeggiano il castello lungo il Rio Prampero; interamente restaurata è la sottostante chiesetta castellana di Santa Margherita.