Le village médiéval de Saorge fut implanté sur un site dominant la Roya, à proximité des chemins vers la Nervia et la Ligurie à l’est, et vers la Vésubie à l’ouest.
C’est surtout après son rattachement à la Savoie en 1388, que Saorge se développa, profitant de l’activité commerciale entre Nice et Turin.
Le village primitif occupait le haut du village actuel.
En 1465, un vaste incendie détruisit de nombreuses maisons et l’église. Le village s’est étendu vers le bas et fut doté d’une nouvelle enceinte. Le mur rempart inférieur sert toujours de fondation à la rangée de maisons aval du village.
A la fin XVIe siècle, l’arête rocheuse qui délimitait le village au nord-ouest fut percée pour ouvrir une nouvelle porte plus commode sous le nom d’Incise.
Au XVIIe siècle, le village s’étendit un peu hors des murs, mais ce fut l’époque où une partie de l’activité commerciale s’est déplacée vers Fontan.
Les ruelles qui suivent à peu près les courbes de niveaux se rejoignent par endroits, en respectant des pentes qui permettaient aux mulets bâtés de circuler. Des escaliers publics, passant souvent sous les maisons, créent des raccourcis pour les piétons entre les ruelles.
L’aspect spectaculaire du village, qui se déploie en amphithéâtre, l’a souvent fait comparer à un village « tibétain ».