Villeneuve-lès-Avignon est habitée dès l’époque préhistorique sur le site du mont Adaon puis par les gallo-romains. C’est un excellent site défensif puisque le Rhône l’entoure sur la majeure partie de sa base.

Au Vie siècle, Sainte Casarie, jeune princesse de Saragosse, vient se réfugier  dans une grotte située au sommet du mont Adaon  pour y pleurer ses péchés et annoncer l’évangile. A sa mort, sa sépulture devient l’objet d’un culte.

A partir du VIIIe siècle, de moines bénédictins fondent un monastère placé sous l’invocation de Saint André. Ce dernier se développe rapidement grâce à l’aide du compte de Provence et de ses juges Alleaume et Audibert. A côté du monastère, qui devient un des plus importants du sud de la France dès le XIe siècle, se développe un premier bourg.

A partir du milieu du XIe siècle, le bourg Saint-André est une possession du compte de Toulouse et ce jusqu’au début du XIIIe siècle, période ou ce dernier est privé de l’ensemble de ses biens. Au cours de l’hérésie cathare, la ville d’Avignon se déclare pour Raymond VI de Toulouse en faveur du catharisme. Sur la demande du pape Honorius II, le roi de France Louis VIII vient faire le siège d’Avignon. Il s’allie avec l’abbé de Saint-André, Bertrand de Claussonne, avec qui il conclut un traité de paréage, le roi de France est alors le co-seigneur de Saint André. Après la prise d’Avignon la reconquête du Languedoc commence.