Il borgo medievale di Saorge fu realizzato in un sito che domina la valle Roya vicino alle strade per la valle Nervia e la Liguria a est e per la valle Vésubie a ovest.
Fu soprattutto dopo la sua annessione alla Savoia nel 1388 che Saorge si sviluppò, sfruttando l’attività commerciale tra Nizza e Torino.
Il paese primitivo occupava la parte superiore del paese attuale.
Nel 1465 un grande incendio distrusse molte case e la chiesa. Il paese si estese verso il basso e fu dotato di una nuova cinta. Il bastione inferiore serve ancora oggi come fondamenta per la fila di case a valle del paese.
Alla fine del XVI secolo la cresta rocciosa che delimitava il villaggio a nord-ovest fu forata per aprire una nuova e più comoda porta che prese il nome di Incisa.
Nel XVII secolo il paese si espanse un po’ fuori dalle mura, ma questo fu anche il periodo in cui parte dell’attività commerciale si trasferì a Fontan.
I vicoli che seguono approssimativamente le curve di livello si incontrano qua e là, rispettando le pendenze che permettevano ai muli carichi di circolare. Scalinate pubbliche, che spesso passano sotto le case, creano scorciatoie per i pedoni tra i vicoli.
L’aspetto spettacolare del paese, che si estende ad anfiteatro, lo ha spesso fatto paragonare a un un villaggio tibetano.