此时陆续调集的清军各路兵马已号称十万之众，但兵多怯战。各部在进攻曾水源部太平军先后遭受挫败后即取守势，两军处于相持局面。太平军主力到达后，除继续攻城外，又与外围清军展开了激战。17日，翼王石达开分兵数千西渡湘江，占领了长沙的西路要冲回龙潭。31日，清军向荣部数千人前往争夺，痛遭伏击，“两健将战殁，士卒死者千余”，向荣与河北镇总兵王家琳以“骑善马得免”。长沙城上“诸军望见，为之夺气”。
太平军三次穴地攻城均未成功。据李秀成说：“天朝官兵，有粮无有油盐可食，官兵心庄（壮）而力不登，是以攻城未就。"11月30日，太平军乃夜撤长沙之围，西北走宁乡、益阳，主动结束了历时80天的围攻长沙之役。城上守军竟毫无知觉。次日，“将帅闻报，皆愕且惧，无敢言贺”。
12月3日，太平军进抵益阳。由于有着严明的军纪，受到当地人民焚香执花的热烈欢迎。原“欲靠洞廷（庭）湖边而到常德，欲取河南为家”，因在益阳“忽抢得民舟数千，后而改作顺流而下，过林子（临资）口而出洞廷（庭），到缶（岳）州，分水旱而下湖北”。湖北巡抚常大淳此前曾亲赴林子口，花了经月时间“沉大船载巨石，以塞湖口，归而侈然自得，以为片帆不能飞渡矣”。但太平军水路兵马到达后，“役民夫数万人去沉船，一日而通”。12月13日，太平军陆路兵马不战而得岳州。