Il Castello di Oliveto costruito nel 1424 dalla nobile e prestigiosa famiglia fiorentina dei Pucci, è una fra le più belle ville fortificate della Toscana. La costruzione, il cui nome deriva dalle numerose coltivazioni di olivo che circondano il Castello, si colloca sulla cima di un colle, ben protetta da fossati, mura e torri.