山东，作为一个地理区域的名称，最早始于战国时期，当时秦国人称崤山、函谷关以东的地区为“山东”，为一个地域性的泛称。由于战国七雄之中，除秦国以外的韩、赵、魏、楚、燕、齐六国都在崤函以东，故也有“山东六国”之称。
战国之后的秦、汉等所称的“山东”一般也是指的崤山或华山以东的地区。
到唐宋年间，“山东”则主要指太行山以东的广大黄河流域。包括今天的河北省、山东省，以及河南省的部分。但唐代末年，就已经有人用“山东”专指齐鲁之地。
金朝，设立“山东东路”、“山东西路”两行政区，“山东”开始作为明确的行政区划概念出现。之后，明朝设“山东行省”，清朝设“山东省”沿用至今。
