汉代由于“开地斥境”，扩大了疆域规模。据《汉书•地理志》载，汉为加强中央集权统治，把全国重新划分为十四州，设十四州刺史部。交州是其中之一，治所设在濮阳，辖山阳(辖瑕丘、橐县、方与……等)、东郡、陈留、济阳、泰山、东平六郡国。王莽时期认为汉代的“州名及界，多不应经”，把州名作了改动或合并，兖州未变。东汉建武十一年(35)，将西汉时期的朔方并入并州，改全国为十三州。兖州治所在昌邑(今山东金乡县西北40里)，下辖陈留、东郡、任城、泰山、济北、山阳(今兖州属山阳郡)、济阳、东平八个郡国，大体范围在今山东西部及河南东部。
三国时，兖州区域属魏国。曹操领冀州牧后，为扩大势力范围。缩小其他州区并入冀州。兖州辖区未动，仍辖八个郡国。仅将汉时陈留改为陈留国，任城国改为任城郡。据《三国疆域志》载，兖州初治昌邑，后移治廪丘(今山东鄄城县东)。
晋时，设兖州刺史部，辖濮阳国、东平国、济北国、泰山郡、陈留郡、济阳郡、任城国、高平国(治昌邑，辖瑕丘、金乡、巨野……等)八郡国五十六县。晋武帝太康元年(280)，西晋灭掉吴国，把全国划分为十九个州部永嘉年间设立二十一个州部。兖州均为其中之一，初治廪兵。后移治郓城(今山东郓城西北)。晋惠帝末年(290)。兖州全境沦没，附属后赵。战乱中的兖州黎民百姓，大量南迁，到东晋元帝时便在南方设置了侨州、侨郡、侨县、侨乡等，兖州为侨州之一，治所设在京口(今江苏丹徒)。晋明帝太宁年间(323—325)以郄鉴为兖州刺史，寄居广陵(今江苏江部县东北)。康帝建元初(343)寄治金城(今江苏宁县北)。穆帝永和(345—356)中侨治下邳(今江苏邳县东)，淮西公太和(366—371)中又移治山阴(今江苏淮安)，孝武帝太元(376—396)中还治广陵，并割江淮地区为兖川辖境，领十四郡。历史上称广陵之兖州为南兖州o而称北方郓城同时存在的兖州为北兖州。北兖州辖东平、高平、济阳、济北、任城等郡。
南朝刘宋初年，武帝刘裕平河南，又设兖州于滑台(今河南滑县)，时称西兖州。宋文帝元嘉十年(433)移治邹山(今山东邹城东南故邾城)，又寄治彭城(今江苏铜山县)，涉迁须昌(今山东东平县西涨50里)。元嘉二十年(443)把兖州区域分属徐州、翼州，其兖州旧地为鲁郡代替。至元嘉三十年(453)六月复立兖州，治瑕丘(今兖州市)，宋孝武帝孝建初年(454)治湖陆(今江苏沛县北)，宋明帝泰始初(465)移治瑕丘。齐、梁时，又设北兖州于清江，设南兖州于广陵。
兖州降魏之后，侨治于淮阴，旧地兖州移治于滑台，后治瑕丘。时称瑕丘之兖州为东兖州，复曰兖州。而滑台之兖州则为西兖州。北魏孝昌年间(525—527)，西兖州又移治于定陶(今山东定陶县西北)。北魏太和年间(477—499)置南兖州于涡阳(今安徽蒙城县东北)，北魏正光年间(520一525)又移治谯城(今安徽亳州)。当时称兖州(瑕丘)、西兖州(滑台)、南兖州(谯城)为三兖州。东魏时设兖州于瑕丘，改置南兖州于陈留，西兖州于济阳(今山东曹县西北)o北齐时，改清江之兖州为淮州，广陵之兖州为东广州。
隋初沿袭前制，开皇三年(583)，“遂废诸郡，行州县之制”。大业二年（606）瑕丘之兖州改为鲁郡，领十县。西兖州改为东郡，南兖州改为谯郡。唐高福李渊立朝后，实行州治。武德五年（622）平徐元朗部，置兖州。治所设在瑕丘，领任城、瑕丘、平陆、袭丘、曲阜、邹、泗水七县。贞观十四年（640）置兖州都督府，辖兖、泰、沂三个州。天宝元年（742）改兖州为鲁群，乾元年（758）复为兖州，领八县，同时设兖海节度使，治瑕丘，录属河南道，辖兖、海、沂、密四个州。五代十国时期，梁、唐、晋、汉设兖州泰沂节度使，属河南道，治瑕后。到后周时期，因慕容彦超据兖州时反叛，遂降兖州为防御州，领六个县。宋朝大中祥符元年（1008），兖州升为大都督府，政和八年（1118）改为袭庆府，治瑕县，录属山东东路，下辖瑕县（今兖州市）、奉符（今泰安）、泗水、袭县（今宁阳、邹县（今邹城）、任城（今属济宁市）、仙源（今曲阜）、莱芜、金乡、鱼台十个县。金改设兖州o初置泰宁军，治嵫阳。大定十九年(1179)改为泰宁军节度使，隶属山东西路，辖嵫阳、曲阜、泗水、宁阳四个县。元朝设兖州，治嵫阳，隶属济宁路。宪宗二年（1252）分隶东平路。至元五年（1268）复属济州，至元十六年（1279）改隶济宁路总管府，辖嵫阳、曲阜、泗水、宁阳四个县。明初，嵫阳并入兖州。兖州辖三县，隶属济宁府。洪武十八年(1385)，明太祖封其第十子朱檀为鲁王，藩兖州，升兖州为府，隶属于山东承宣布政使司，复置嵫阳县为兖州府治所在地，辖济宁、东平、曹、沂四州二十三县。
清代仍设兖州府，治滋阳，隶属山东省。据乾隆三十一年(1766)版《兖州府志》记载，兖州府辖一州十三县。
