隋大业四年(608年)，炀帝开永济集，亦名御河(即卫河，在清河县东南二十五里)，南引沁水通黄河，北通涿郡(今北京)，卫河水由清河(清河县境内)入德州境。至此，德州段运河成为永济渠的重要组成部分，为南运河之始，也为大运河山东段之始。

大运河山东段在元代全线贯通时，济宁以北至大清河(今黄河)一段称济州河，从大清河至临清与卫河(今南运河)会合的一段称会通河：济宁以南则利用泗水河道在江苏徐州与当时黄河会合。元中叶以后，从徐州至临清的运道全线通称为会通河。明代因之。清代因其在当时的山东省境内，故又称山东运河。从明代嘉靖、万历至清代康熙年间，下游为了避开今徐州至淮安一段黄河浅涩阻运之弊，先后开凿了南阳新河、加河等。

大运河山东段由北至南依次经过德州、聊城、泰安、济宁和枣庄5市，包括南运河段山东段、会通河段山东段、中河段山东段3个遗产段落，新中国建立以前正河全长643千米，其中南运河段山东段全长140.3千米、会通河段山东段全长374.5千米、中河段山东段全长128.2千米。新中国建立以后新修河道319.5千米，其中会通河段山东段新修317.8千米，中河段山东段新修1.7千米。