Francesco è nominato, nel 1532, Generale Collaterale della Repubblica di Venezia dal doge Andrea Gritti e porterà a compimento lavori di ingrandimento e arricchimento dell'edificio quattrocentesco, fra cui la chiusura della merlatura sul corpo centrale, la sopraelevazione delle ali laterali, gli affreschi della facciata, gli scaloni in pietra, il completamento della cinta muraria.

Il progetto cinquecentesco viene portato a conclusione dal nipote ed erede Giovanni con gli affreschi del camerone e da suo figlio Battista che farà realizzare la cedraia e commissionerà a Cristoforo Sorte la progettazione della peschiera con grotta nel giardino. La grande corte nobile è racchiusa da edifici che fino all'800 avevano conservato integralmente la loro originaria struttura a barchessa.

Orazio Porto - ultimo della linea iniziatasi con Francesco seniore - alla sua morte nel 1816, nomina erede il pronipote Orazio Guardino Colleoni con il vincolo di risiedere a Vicenza e associare il cognome Porto al proprio. I Colleoni-Porto sono proprietari del castello per tre generazioni.

Ad un iniziale periodo di disinteresse, segue un vasto programma di rinnovamento degli arredi e la trasformazione dei giardini. Guardino, ultimo della linea, muore nel 1918 senza figli e indica quale erede suo cugino Antonio di Thiene.

Il castello, che al suo interno conserva una estesa galleria privata di ritratti, presenta quattro "episodi" particolarmente significativi.

Il Camerone del Camino
E' la denominazione originaria della sala, dominata da un camino ai lati del quale sono raffigurati Vulcano e Venere; busti, frutta, bucrani, medaglioni, putti con festoni e stemmi decorano l'insieme.