El Camino de San Frutos en Condado de Castilnovo.
Está situado en la depresión del valle del río San Juan, entre Villafranca y Valdesaz. Es de origen árabe y el estilo de su arquitectura es mudéjar.
En sus paramentos alternan la piedra y el ladrillo. Está rodeado por un bosque de sabinas y enebros y vegetación de ribera. Aunque no se encuentra sobre ninguna colina o punto elevado, compensaba esta deficiencia con un tamaño considerable de muros y torres defensivas. Según la tradición, comenzó a construirse a mediados del s. VIII, durante el reinado de Abd-al Ramán I (734-788), aunque los restos más antiguos son unos muros de tapial, datados entre los s. X y XII, coincidiendo con la época en la que Almanzor (939-1002) recuperó para el Islam las tierras de Sepúlveda.
A partir del s. XII se refuerzan los muros y empiezan a añadirse la torre de la Solana, la torre de la Puerta y la torre Vieja. Algo más tardías son la torre del Moro y la torre del Caracol.
Perteneció a Fernando I de Aragón (1380-1416), pero fue don Álvaro de Luna (1390-1453), condestable de Castilla y valido de Juan II (1405-1454), quien dotó al castillo del aspecto mudéjar (s. XV) que a pesar de las muchas reformas ha conservado hasta ahora.
La media luna de sus armas familiares aparecen en sendos blasones a la entrada del recinto. Después del de Luna, fueron ilustres propietarios Enrique IV (1425-1474)), quien hubo de buscar refugio en esta fortaleza ante la hostilidad que le mostraron los sepulvedanos, y los propios Reyes Católicos, que lo atesoraron entre sus numerosos castillos, hasta que lo hicieron mayorazgo y se lo dieron como dote a una sobrina.
En el s. XVI pasa al patrimonio familiar de los Velasco, condestables de Castilla y duques de Frías. En 1526 pasaron por aquí Francisco y Enrique, hijos del rey francés Francisco I, hacia su prisión de Pedraza, donde permanecieron tres años. En 1557 encontramos a Juliana de Velasco y Aragón como primera condesa de Castilnovo.
Ya en el s. XIX perteneció a la rama católica de la familia Hohenzollern. En 1859 el príncipe Federico Guillermo Constantino se lo vendió al afamado pintor catalán José Galofre, quien emprendió una importante restauración, manteniendo el aspecto mudéjar.