进入49年8月之后，国民党失去了美国人的援助，内忧外患日益严重，蒋介石本人自是焦虑不堪。此时，人民解放军第二、第三、第四野战军在长江以南已分别前出赣南，逼近福州，挺进湘中，直接威胁广东、广西和四川。在华北，绥远省(今属内蒙古自治区)和平解放亦已成定局。
国民党**撤逃台湾、广州、重庆等地，幻想保住西南4省，重整军备，伺机卷土重来，急需胡、马各部在西北地区作战略配合。
8月中旬，国民党**行政院长阎锡山在广州召开由西安绥靖公署主任胡宗南、西北军政长官公署长官马步芳、副长官马鸿逵等人参加的“西北联防会议”，拟制了“兰州决战”计划，企图以马步芳4个军及新成立的骑兵军共9万余人依托兰州坚固城防和黄河天险，吸引、消耗第一野战军主力，以集结在中卫、中宁地区的马鸿逵部主力伺机转向兰州，以胡宗南部主力由秦岭出陇南，三路夹击，挫败第一野战军于兰州外围。
兰州是西北第2大城市，为国民党西北军政长官公署所在地。该城北临黄河，南靠群山，地势险要，易守难攻;南山环抱城垣，并有多年修筑的永备工事，通向城内的环山公路与各主要阵地相连接，构成了完备的防御体系，国民党守军称该城为“不可攻破的铁城”。
马步芳鉴于兰州决战的胜负是其存亡的关键，遂以秦陇兵团第82、第129军和2个骑兵师、3个保安团等约5万人重点据守南山各要点和城区;以第91、第120军和马鸿逵部第81军共3万余人控制兰州东北的景泰、靖远和打拉池地区，保障兰州左翼安全;以新组成的骑兵军约2万人控制兰州以南的临洮、洮沙(今太石)地区，保障兰州右翼安全。兰州地区作战由秦陇兵团司令官马继援统一指挥。
第一野战军司令员兼政治委员彭德怀根据中国共产党中央军事委员会关于向全国进军的战略部署和对兰州作战的指示，发出攻取兰州、西宁的作战命令，决心以一部兵力牵制胡宗南、马鸿逵两部，集中优势兵力歼灭马步芳部主力于兰州地区。
其部署是:以第18兵团(欠第62军)及第7军留置宝鸡、天水地区，继续牵制胡宗南部，保障野战军主力左翼及后方安全;以第19兵团第64军进至固原、海原地区，牵制马鸿逵部，保障野战军主力右翼安全;以第1兵团(欠第7军)附第62军经陇西、临洮、临夏、循化，尔后北渡黄河攻取青海省省会西宁，截断兰州守军退路，并随时准备参加兰州地区作战;以第2、第19兵团(欠第64军)共5个军近15万人沿西安至兰州公路分南北两路两进.直取兰州。
兰州位于四周环山的狭长的盆地上，黄河自西向东贯穿，兰州地处南岸，城西有一座上一世纪造的铁桥联系南北两岸，北岸通向青海和河西走廊。此桥是当时数千里黄河两座桥梁之一(上游甘青交界处还有一座木桥，只能过行人骡马车辆)，故军事价值很大。
若控制兰州，兰州的南山是必守的阵地。南山自东向西依次为十里山，窦家山，马架山，营盘岭(皋兰山南梁)，沈家岭，狗娃山。其中沈家岭离铁桥，又与狗娃山一起扼守着两条南去的公路，被认为是“兰州锁钥”。
鉴于解放军对兰州敌军只是三面包围，北面退路黄河铁桥仍然在敌人控制之下，不能排除敌人在大军压境下突然逃跑的可能性。第一野战军参战部队全部到达兰州外围后，为了防止“青马”西逃，提前发起兰州战役，彭德怀下令部队于21日拂晓投入攻击战斗。
这次首攻守军的第一野战军部队有六十三军、六十五军、六军、四军共9个团的兵力，攻击方向分别为被称为兰州锁钥的马家山、营盘岭和沈家岭三大主要阵地。
但是，经过两天激烈的战斗，没有攻下一个阵地，解放军却遭受了重大伤亡，其中仅六十五军就伤亡近800人。彭德怀当机立断，命令部队停止攻击，要求所有指战员认真总结经验教训，分析防御特点，侦察敌情与地形情况，重新调整我军战斗部署与火力配备，有针对性地改变战术。