Il castello fu eretto nel borgo rurale di Sterpo dai della Torre nel 1337 su un feudo già appartenuto ai conti di Gorizia. I della Torre tennero la giurisdizione sino al XVI secolo, quando fu ceduto ai di Colloredo.
Il castello subì il sacco dei contadini del 1509 e del 1511 e, fortemente danneggiato, rimase in stato di abbandono. Venne ricostruito dai Colloredo tra il XVII e il XVIII secolo come villa di campagna.
Il corpo dominicale della villa è affiancato da una cappella e da alcuni edifici rustici, uno dei quali si dice fosse sede del Tribunale. La facciata è scandita dalla torre centrale aggettante in asse con il ponte e il viale di accesso. Nella fascia del sottotetto sono presenti un cornicione affrescato e piccole aperture ellittiche. Anche la cappella dominicale affacciata sul giardino – dedicata a San Girolamo – è stata costruita incorporando parte di uno dei torrioni del castello. Fu ricostruita in stile neoclassico con un pronao formato da quattro colonne doriche che reggono un frontone triangolare.
Al di fuori del complesso della villa si trova un’altra torre a pianta quadrangolare risalente al XVI secolo. I Colloredo ne ebbero la proprietà sino al 1959, quando fu acquistato dai Venier (ora Villa Venier).
