L'expansió de la societat feudal sobre l'Àndalus en el segle XIII derivà en la conformació de senyories territorials al regne de València, constituït aleshores pel Jaume I d'Aragó. El rei Conqueridor atorgà el feu de Rebollet (1240) a un corsari ennoblit per ell mateix, el lígur Carroccio di Alamanno da Costa (Carròs), que s'ocupà d'assentar colons cristians al castell de Rebollet i a la futura vila d'Oliva, vora la qual instal·là una poblada Moreria. Com ell, el seus successors en l'"honor" de Rebollet (baronia des del 1330, amb mer i mixt imperi) destacaren en les guerres d'expansió meditarrània de la Corona d'Aragó. La seyoria millorà amb la fundació del lloc cristià de la Font d'en Carròs (vers 1330), però fou ocupada i saquejada per Pere el Cruel de Castella (1364-1366), cosa que obligà a reconstruir cases i infraestructures, a repoblar-la i a pactar el senyor amb els vassalls una millora de les condicions d'aquests (1368-1379). Per haver-se extingit la nissaga dels Carròs, Oliva-Rebollet passà als seus parents els Riu-sec i, d'aquests, als Centelles/Riu-sec, vers la fi del segle XIV. Els Centelles d'Oliva s'enfrontaren amb els Vilaragut per l'hegemonia política al regne i obtingueren un gran triomf amb l'entronització de Ferran I d'Aragó (1412). Llavors, Bernat de Centelles impulsava, amb tècnics duts de Silícia (1410), la revolució de la canyamel i dels trapgis de sucre a la Safor. Ell i son fill Francesc-Gilabert I contribuïren a l'expansió itàlica d'Alfons el Magnànim, que atorgà títol de comte d'Oliva a Francesc a Nàpols, el 1449. Retornat a València el 1459, el primer comte destacà pels serveis militars a Joan II d'Aragó en la Guerra Civil Catalana, i augmentà el seu patrimoni senyorial amb l'adquisició de noves senyories. El seu fill Serafí, comte lletraferit, i mecenes d'humanistes, poetes i artistes, fou un dels personatges més influents de la Valància dels anys 1480-1530. Fou important el seu paper a l'hora de sotmetre els agermanats durant la Guerra de la Germania (1520-1522). A més, deixà ornada Oliva amb un magnífic palau goticorenaixentista (1505-1512) i una muralla (1529-1531). El seu nebot i successor, Francesc-Gilabert II alçà la fortalesa de Santa Anna (1543-1545) i altres defenses contra l'ofensiva piràtica turcoberber, però el seu fill i successor, Pere de Centelles, perdré el seny i morí sense descendència (1569). S'obri aleshores una disputa entre parents per la successió al comtat, que fou adjudicat finalment a la duquessa consort de Gandia, Magdalena de Centelles; amb la qual cosa, el comtat d'Oliva passaria a integrar-se en el patrimoni dels Borja, ducs de Gandia (1596).