El pueblo está ubicado en un paraje abrupto dentro del profundo y angosto valle del río Alhama. A ambas orillas emergen dos montes: la peña del castillo o Peña de San Antonio y Pedralén. La Peña separa los dos barrios principales: el somero, o de Santa Ana, y el bajero, o de San Gil. Hay otros dos barrios en la margen derecha del río: el de "Nisuelas" y el de San Miguel. El barrio de abajo es el más antiguo de Cervera; sus casas más viejas se localizan a lo largo del Barranco del Tollo. En el tramo final de la ladera izquierda de este, preside el barrio de abajo la ermita de la Virgen del Monte, símbolo de los orígenes medievales del pueblo. El barrio de Santa Ana es más moderno que el anterior, pronto superó en población al otro barrio y en el se asentó el aparato burocrático (ayuntamiento, colegios, comercio etc.).

Los barrios están separados por algo más que la peña del castillo; enfrentados desde la Reconquista hasta nuestros días, sus riñas y rivalidades, han desunido al pueblo, aunque no han sido obstáculo para la convivencia. La causa remota de estas desavenencias provienen del origen étnico de los pobladores de ambos barrios: en el barrio de abajo, protegidos por las murallas, quedaron los francos y cristianos reconquistadores, mientras en el de arriba, fueron asentándose los primitivos habitantes del pueblo, moros y judíos, expulsados del recinto amurallado a los barrios de Nisuelas y San Miguel.