Collocato in zona collinare, ha una struttura urbanistica più moderna nella contrada Andreotta, quartiere prevalentemente residenziale, dove è situato il nuovo anfiteatro dove in estate si svolge un importante festival teatrale. Da un punto di vista geologico il territorio è caratterizzato dalla presenza di grandi masse calcaree nel sottosuolo che lo rendono ricco di acque pure e cristalline.
In origine Castelfranco, si popolò a partire dalla metà del XIV secolo e durante i primi anni del XVI secolo la maggior parte della sua popolazione era dedita al lavoro dei campi, in particolar modo alla coltivazione del gelso. In seguito si contraddistinse come centro indiscusso di artigiani, diventando fornitore di scarpe solide ed economiche per i lavoratori dell'intera provincia.
Riorganizzatosi come comune, i cui atti e assemblee si svolgevano in pubblica piazza, fu colpito da un terremoto nel 1638 che ebbe come conseguenza la ricostruzione del paese nei pressi della piazzetta antica tra l'attuale via S. Giovanni e la Provinciale.
Fu sede di una "vendita carbonara" durante il periodo risorgimentale e di rifugi di briganti in quello rinascimentale: i più famosi furono la "Grotta di Donna Placida", tra Castrolibero e la frazione di S. Lucia, e la "Cerza a Cruce" posta sopra il ponte di Campagnano, in località Andreotta.
Alla nascita dell'unità di Italia, a causa di numerose omonimie, Castelfranco dovette cambiare il nome che lo aveva accompagnato per oltre un millennio: si decise per la denominazione di Castrolibero in onore delle nuove libere istituzioni e del suo territorio arioso.
Caratteristica del centro storico è la Torre dell'orologio, edificata tra il 1908 e il 1912 e realizzata in pietra a vista e mattoncini rossi. In Piazza Pandosia, si erge la parrocchia del SS. Salvatore, in cui è custodita la Trasfigurazione di Cristo, opera di Domenico Oranges. Vicino alla chiesa, uno dei due monumenti ai Caduti: un muro in marmo bianco sul quale spicca la scultura in bronzo di un uomo, nudo, con le braccia tese al cielo. Più avanti, i ruderi della chiesa di Santa Maria della Stella, elegante nell'aspetto nonostante la semplicità del materiale utilizzato (opus incertum), edificata sul finire del XV secolo.