Situado a unos 2 km del pueblo en lo que es llamado la Mata del Fraile, tomando el camino de los molinos que sale a la izquierda de la iglesia y continuando por un camino que sale a nuestra izquierda, seguidamente veremos las ruinas. De origen benedictino, su construcción primitiva comenzó a principios del s. XII, en 1133 pero fue terminado a principios del s. XIII, cuando en 1212 pasó a depender de la orden cisterciense; sus nobles ruinas, consolidadas en la actualidad, dan cuenta de lo que fue un monasterio cisterciense.
A esta época corresponden los restos arquitectónicos que conserva de arcos ojivales, bóvedas de cañón apuntadas y un rosetón en la fachada principal.
Fue lugar de estancia, de hospedaje de paso de reyes y de sequitos reales; desde este lugar en junio de 1390, Juan I (1358-1390) hace cumplir el testamento de su padre, Enrique II (1334-1379), acordando la donación de sus palacios del Poblar para que se funde la primera cartuja en Castilla, lo que será el Monasterio del Paular en el valle de Lozoya.
La decadencia del Monasterio de Nuestra Señora de la Sierra es notoria a finales del s. XV, pasando a ser un priorato dependiente del abad de Sacramenia y posteriormente del de Valbuena. El escaso número de monjes, no superior a cuatro, la pobreza de sus ingresos como comunidad y el deterioro de algunos de los espacios conventuales sin medios para rehabilitarlos aceleró su desafectación como edificio religioso para convertirse en una granja de explotación silvícola.
A mediados del s. XVIII con la invasión francesa los monjes lo abandonaron y empezaron a hundirse los muros y su decadencia se aceleró con la desamortización de Mendizábal. Sus ruinas fueron declaradas Monumento Histórico Nacional en 1931 y Bien de Interés Cultural (B.I.C) en 1997.
Hoy es de propiedad privada, de la Fundación Lealtad. Se ha hecho una rigurosa actuación arqueológica, consolidando lo que sería la base de la configuración de un monasterio cisterciense, en especial los muros de la iglesia, con las tres naves divididas en cinco tramos, y la central más amplia que las laterales. Es de destacar la portada de entrada orientada hacia el oeste, decorada con arquivoltas dentadas y el gran rosetón.
En la manufactura de este complejo monacal se alterna la mampostería con la sillería de buena calidad. En un edificio anexo se ha instalado un taller de tejidos elaborados a mano que procura confección artesanal a las prendas que comercializan bajo el nombre comercial de Abbatte Segovia que también realiza visitas privadas al taller y al monasterio.