Nel 611, durante le incursioni degli Avari, i longobardi fortificarono il “castrum Glemonae”, probabilmente sui resti di una vedetta o di un piccolo castellum, risalenti all’età romana, ma di cui non si è trovata traccia.
Nell’XI secolo venne edificato un maniero a opera dei Signori di “Clemona” e nel Duecento si ricordano due costruzioni contigue, di cui una doveva appartenere al Patriarca. Cessata la giurisdizione feudale dei Signori (che acquisirono il castello e il predicato di Prampero) la rocca di Gemona divenne proprietà del Comune. Nel XVI secolo il castello fu lasciato in abbandono e spoliato per edificare altre costruzioni.
Dai fianchi della rocca partivano tre cerchie di mura: la prima, costruita probabilmente prima del 1000, si appoggiava al dirupo sopra l’Altaneto, raggiungeva il duomo ed abbracciava l’antico nucleo abitato intorno a Portuzza; la seconda, voluta dal Patriarca Bertrando, cingeva l’abitato fino alla Piazza Nuova (ora Piazza Garibaldi) e alla Porta del Giunamo; la terza, infine, comprendeva la Zuccola, il borgo di Villa e il convento di Santa Chiara.
Fino al terremoto del 1976 erano visibili: la torre centrale (detta campanaria o dell’orologio), gli avanzi delle strutture murarie perimetrali dell’antico castello medioevale racchiudenti due cortili, il portale d’ingresso ad arco acuto del Trecento, la torre di levante (usata come prigione fino al 1967) e la torre di ponente, detta la “torate”.
Attualmente è in corso un imponente progetto di recupero architettonico. Sono aperti al pubblico i giardini del castello.