xIl castello presenta pianta rettangolare. Al centro della facciata si erge la torre quadrata che domina l’intera struttura. In origine la torre doveva essere più alta e munita di apparato a sporgere con beccatelli, tanto che Vasari la cita come esempio a cui si ispirò Arnolfo da Cambio per la costruzione della torre di Palazzo Vecchio, a Firenze. Quella che però si può ammirare oggi non è la versione originale, distrutta da un fulmine, ma la ristrutturazione effettuata nell’ottocento, che le diede l’attuale forma di torre campanaria. La base della torre, terminate a tronco di piramide e detta “a scarpa”, è interrata per circa quattro metri. Questo tipo di struttura serviva sia per dare maggior solidità alla torre stessa, sia per deviare verso gli assalitori tutto ciò che veniva gettato dall’alto (olio bollente, fuoco, pietre, etc) , secondo il sistema della difesa piombante. In seguito intorno alla torre venne edificato il recinto murato fortificato, dal quale si svilupparono poi le altre strutture del complesso. La struttura era in origine dotata di due soli ingressi, uno più piccolo, verso la piazza d’armi e l’altro più grande e rivolto verso la valle e con una ripida rampa d’accesso. Dopo gli interventi del 1470 la porta più piccola che prese il nome di Porta Leone, divenne l’ingresso principale . Il castello venne in seguito ampliato con la costruzione di un blocco rettangolare alla destra della torre (guardando dalla parte della piazza d’armi). Questo era il cassero, utilizzato come prigione nei piani bassi. Oggi l’antico cassero e la torre sono uniti da una cortina muraria, ma in origine le due strutture erano separate e in collegamento grazie a ponti levatoi posti ai piani alti. Proprio in una sala dei piani superiori del cassero, nel 1440 Francesco Guidi firmò la resa alla Repubblica fiorentina. Nello stesso periodo della costruzione del cassero venne iniziata la costruzione dell’altra ala sull’altro lato della torre.
I nuovi edifici vennero a costituire il bel cortile interno, movimentato da una scala, dove è possibile ammirare gli stemmi in terracotta dei vicari fiorentini. Alcuni interni sono di particolare importanza, tra gli altri, possiamo ricordare la sala della Biblioteca Rilliana (una delle più ricche di tutta la Toscana per numero di manoscritti e incunaboli) o il Salone delle Feste, detto oggi del Consiglio. Per la salvaguardia e la conservazione degli stemmi vicariali presenti nel cortile interno, recentemente è stata realizzata una copertura in acciaio e vetro (Studio Taddei – 1998) assai suggestiva e tale da creare una “camera armonica” dove vengono svolti in estate dei concerti di musica classica ad archi.