Dal IV sec. d.C. inizia decisa la decadenza di Venimiglia Romana a Nervia ma le notizie restano ancora piuttosto lacunose. La città della piana continuò comunque a godere di una sua vita autonoma e fu inserita, secondo la Cosmographia dell'Anonimo Ravennate nella provincia Maritima Italorum, quae dicitur Lunensis atque Vigintimilii: con tal definizione si indicavano grossomodo i limiti orientali ed occidentali che caratterizzeranno molto dopo il Dominio di Genova: l'antica Luni (al posto del Corvo) e Ventimiglia (per Monaco). La crisi della città di piana era comunque attestata da altre fonti scritte come l'Itinerarium Maritimum che definiva il sito di Ventimiglia come plagia, quale una spiaggia attrezzata o poco di più ancora attiva ai tempi di Teodosio.
Si va però facendo sempre più strada l'idea che la città costiera, per quanto in crisi, non fosse ridotta ad un deserto come un po' semplicisticamente indicano queste fonti. Quasi certamente la zona pianeggiante nervina, tra molti restauri e poche precarie nuove costruzioni, continuò ad ospitare molti servizi, aziende e traffici portuali, con una popolazione di condizione medio-bassa, mentre in un supponibile complesso abitato alto-imperiale sul riparato colle a ponente del Roia (conseguenza archeologicamente documentata dell'espansione demografica del primitivo nucleo urbano nervino con sparsi ritrovamenti nell'area del Convento delle Canonichesse Lateranensi e dell'oratorio di S.Giovanni) si assistesse ad una prima forma di spostamento (in area protetta e fortificata) delle autorità cittadine, dei notabili, della guarnigione locale a loro servizio (v.F. GABOTTO, I Municipi romani dell?Italia occidentale alla morte di Teodosio il Grande in Studi sulla storia del Piemonte avanti il Mille, Tip. Chiantore-Mascarelli, Pinerolo, 1906, pp.235-318)> su questo nucleo tardo romano, dopo la loro riconquista dell'Italia nel VI secolo da parte di Giustiniano si venne a costituire il complesso fortificato ma anche civile del Castrum Bintimilium.