据此，山东兵团司令员许世友、政委谭震林针对国民党军第2绥靖区与第10绥靖区结合部兵力薄弱的弱点，决心以一部兵力配合地方武装监视济南、青岛等地国民党军，以主力首先攻占泰安及其南北地区，开辟战场，切断济南和兖州的联系，尔后围攻兖州，吸引徐州国民党军北援予以歼灭。
彻底控制津浦路徐州至济南段，为解放济南做最后的铺垫。照许世友的话说，就是继“横扫胶济路700里”后，再“横扫津浦线700里”。
5月29日晚，山东兵团各部队对津浦铁路中段各要点发起攻势。泰安国民党守军整编第84师第l55旅弃城北逃。至6月20日，山东兵团各部乘胜向泰安南北扩张战果，先后攻占泰安、大汶口、曲阜和邹县等地。
第7纵队、鲁中军区部队包围兖州，至25日扫清外围并攻占四关。国民党军陆军总部徐州司令部为解兖州之围，令整编第25师由徐州沿津浦铁路北援，该师先头部队于28日进抵滕县以北界河地区。
山东兵团当即调第9、第13纵队由济南附近南移打援;令第7纵队视机撤围兖州，准备协同第9、第13纵队打援。国民党军统帅部发觉山东兵团主力南移，且被华东野战军西线兵团围困在豫东睢县、杞县地区的区寿年兵团求援甚急，遂将整编第25师车运商丘增援。
山东兵团鉴于兖州国民党军处境孤立，乃决心攻取兖州。兖州为津浦铁路中段战略要点。控制该城，南可威胁徐州，北可攻击济南。
该城城郭坚崮，筑有半永久性防御工事，城西开阔，东依泗河，驻有国民党军第10“绥靖”区司令部、整编第12师及保安团队共11个团2.8万余人。
山东兵团集中主力及地方武装共45个团的兵力实施攻城打援。以第7纵队井指挥第13纵队及鲁中军区部队担任攻城;以第9纵队集结于兖州以北，以鲁南军区部队位于兖州以南准备阻击济南和徐州援军;以渤海纵队位于济南以东牵制济南国民党军。
7月1日，山东兵团再次包围兖州，第7、第13纵队担任主攻，由西向东，以老西门、新西门为重点，并肩实施突击;鲁中军区部队和第13纵队一部位于城东北及城东担任助攻。
攻城部队采取稳扎稳打的战法，先以一部兵力扫清外围。至7日，肃清了两关守军，并开始近迫作业。
12日17时发起总攻，先以各种火炮进行火力准备，压制守军火力，摧毁老西门、新西门城墙及纵深工事;山炮抵近射击，打开突破口;步兵在炮火掩护下实施连续爆破，连续突击。
至20时30分多路突破城垣，尔后多次击退守军反扑，迅速向纵深发展。守军见大势已去，仓皇向**围。
经1昼夜激战，山东兵团于13日18时攻克兖州，将城内守军及突围的部队全部歼灭，俘整编第12军军长兼整编第12师师长霍守义。当兖州再度破围时，济南国民党军整编第84、第2师于7月1日南援，但惧怕被歼，行动迟缓。
当其先头部队13日渡过渡河进至太平镇地区时，得悉兖州已失，星夜北逃。至18日，第9纵队追歼其后尾整编第84师第161旅等部约万人此役，共歼国民党军3.7万余人，收复和攻克泰安、曲阜、邹县、充州、济宁等城镇12座，有力地策应了西线兵团在豫东作战，使鲁中南、鲁西解放区连成一片，进一步孤立了济南国民党军。