此时淮北军民既已南迁，有近臣上疏奏帝，说秦国大将邓羌取汉中、西蜀诸郡，且屡遣兵袭扰晋境。孝武帝见朝中再无大将，心甚忧虑，遂向朝中诸臣求计。群臣奏道：“请陛下降诏，求文武良将具有才略者，命各郡举荐入朝，委以重任，使其镇御北方，则江南安宁。”孝武帝从之，于是颁诏天下，求荐文武良将。谢安出班奏道：“臣举一人，有万夫不当之勇，鬼神不测之谋，若以其为将，镇守北边，则秦军必不敢正觑我江南。此人乃臣兄谢奕之子谢玄，字幼度。先与郗超同为丞相桓温参军，桓温多用其智，屡建大功。今桓温既死，其与郗超皆归还朝廷，供职班中。臣举贤不敢避亲，若使其总镇江北，管取边界安宁。”孝武帝准其奏请，于是召谢玄上殿，慰抚道：“今秦兵节次犯境，卿叔父谢安荐卿有文武之才，朕纳其荐，拜卿为建武将军，监江北诸军事，总领沿江诸镇，屯守北岸。其责重于泰山，非同小可，惟贤卿用心调度，勿负朕望。”谢玄奏谢道：“臣本驽钝，不足以驰骋千里。今蒙陛下破格擢用，敢不尽力，使出镇之地莫不保全！”于是领职受印，辞帝下殿而出。

且说谢安叔侄俱各受封重职，恼了中书郎郗超，愤然不悦。郗超以其父郗愔乃是名公郗鉴之子，位遇应在谢安之上，但一直处于闲职，而谢安却能掌握朝政，对此早就愤恨不平。今闻其从侄谢玄又掌兵权，更增忿闷，遂俨然成疾。有好友前来探病，问道：“今谢公举其侄领兵，公谓谢玄不能胜其任乎？”郗超虽与谢玄不和，但仍客观答道：“以谢安之明，乃能违众举亲。以谢玄之才，复定能成功，不负所举。我与谢玄曾在桓丞相军府共事，见其用人能各尽其才，即使履屐之间小事，亦能使人得其所任。以此推断，故知其定能建立功勋。”好友喟叹而别。郗超由此与谢安构隙，谢安对郗超也是深恨不已。郗超因守母孝而致仕在家，后孝服期满，朝廷起复其为散骑常侍，后又授为宣威将军、临海太守。郗超因所授官职位于谢玄之下，故称病而拒不接受。太元二年十二月，郗超郁郁而终，年仅四十二岁。

郗超死后，岳父欲接女还家，其妻周氏坚拒说道：“某生虽不能跟郗郎同室而居，则死后愿与夫同穴而葬。”闻者无不动容。郗超曾出任桓温参军，但桓温三次北伐皆不用郗超之谋，故致大败，乃成千古遗恨。郗超又参预桓温废立密谋，势焰嚣张，骄横跋扈，连谢安在内朝中大臣等均畏其势。桓温死后郗超失势，但欲借其父之势复起，故常视谢安为政敌。其父郗愔好财，曾聚敛钱财数千万，郗超在向父亲请安时，故将话题引至钱财。郗愔笑道：“闻子之语，不过想得我钱财而已！”于是打开钱库，许郗超任意取用。不意郗超竟在一日之内，将库中钱财悉数分给亲戚朋友，郗愔惊怪不已。郗愔忠于王室，政见与郗超相左，并对郗超与桓温图谋篡晋之举丝毫不知。郗超临终前将一箱书信交给门生，嘱道：“我死之后，若父亲悲伤过度，伤害寝食，可将此箱书札呈交观之。若我父不悲，则焚之可也。”郗超死后，郗愔果因悲痛不胜患病。门生便将书札呈之，郗愔发书看时，见其皆是与桓温密谋篡位书信。郗愔于是由悲转恨，大怒道：“如此逆子，何死如此晚耶！”从此再不为郗超流泪。

郗超既死，兵权皆归谢氏。谢玄奉诏离京出镇广陵，招募骁勇之士，以充帐中将佐。刘牢之、何谦、诸葛侃、高衡、刘轨、田洛、孙无终等响应招募，各因勇猛惯战或长臂善射而被选中。谢玄任命刘牢之为参军，率精锐部队以作前锋，号称“北府兵”，皆使鲜甲怒马，拣选令敌人望而生畏者充任之。刘牢之字道坚，彭城郡人，生长于尚武世家，乃雁门太守刘羲之孙，征虏将军刘建之子。因其面色紫赤，须目异于常人，性格深沉刚毅，为人足智多谋，故此颇得谢玄厚爱。于是谢玄令刘牢之等在广陵训练北府兵，以待时北征，按下不提。

戊寅，晋太元三年、秦建元十四年。四月，秦王苻坚筹备已毕，举发全国之兵南征。以长乐公苻丕为征南大将军，率将军苟苌、石越、慕容垂等率步骑七万，进攻东晋重镇襄阳。晋荆州刺史桓冲拥众七万据守上明，因惧怕秦兵强盛，竟不派兵救援。征西大将军桓豁表荐兖州刺史朱序，为使持节、监沔中诸军事、南中郎将、梁州刺史，前往镇守襄阳。朝廷准奏，发诏令朱序引领本部军马，兼程前往襄阳上任。襄阳百姓闻桓氏手握大军不来，却派兖州刺史前来坐镇，不由全城大惧，各欲弃城南逃。城中守将李伯护等亦各惊恐，进退失措，刚欲商议举城降秦之时，新任梁州刺史朱序引部兵已至，从容登堂升帐，召集诸将道：“秦皆步骑，并无舟辑，皆不习水战，焉能跨江攻我？不足为虞，诸公勿忧。”于是下令收拾战具，加固城墙，商议固守之计。正计议间，突闻秦将石越率兵五千浮渡汉水而来，直至城下。

朱序闻报秦军兵临城外，亦感惊慌，便命百姓一起上城，固守中城。石越率兵恃勇而来，先攻破外罗城，克其外郭，并夺获大船百余艘，以渡其余军。及至后面苻丕兵到，便督诸将来攻中城。朱序母韩氏听说秦军到达，亲登城墙察看城防，行至西北角，见有崩塌，以为不够坚固，于是亲率百余婢女及城中成年女子百多人，筑新城于城墙之内，斜筑城墙二十余丈。秦军来到，西北角果遭攻破，朱序遂率兵众移到新城防守，秦军攻城不果，大损其众而还，兵退三十里下寨。襄阳人感激韩氏之德，遂称其新筑之城墙为夫人城。苻丕败了一阵，复相持旬日，见军中粮草将要用完，乃与诸将商议，欲急攻襄阳城。将军苟苌献计道：“今我众十倍于敌，但稍迁汉沔之民于许洛，塞其运粮之道，绝其援兵，便譬如网中之禽，何患不获？而必至多杀将士，急求其功哉？”苻丕听之，遂从其议。此时慕容垂已拔南阳，擒执南阳太守郑裔，与苻丕会兵于襄阳城下。苻丕大喜，令排宴相贺，并遣使献捷报于秦王。

苻坚闻报慕容垂攻拔南阳，不由大喜若狂，遂大宴群臣，命以极醉为限，并令赵整作《酒歌》。歌成，赵整宣读其文道：“地列酒泉，天垂酒池；杜康妙识，夷狄先知。纣丧殷邦，桀倾夏国；由此言之，前危后则。”苻坚闻言警醒，遂以为酒戒，此后再宴群臣，尽礼稍饮而已。南阳既陷，于是朱序固守襄阳，秦晋两军相持半年有余，展开拉锯之战，互有胜负，秦军攻城不下。直到十二月年终，苻丕未能攻下襄阳。秦王苻坚遣人责备苻丕，并赐剑限令来春拿下襄阳，不然则以此剑自刎。苻丕惶恐，下令诸军努力攻城，被朱序以檑木石炮打下，复又败退。苻坚欲亲引大军来攻襄阳，阳平公苻融谏止道：“陛下既欲取江南，平灭晋室，固当博谋众虑，不可仓猝为之。若是止取襄阳一城，又岂足亲劳大驾乎！未有动天下之众而为一城者，此所谓隋珠弹雀之意也。”苻坚终纳其谏，遂乃止行。东晋朝廷闻襄阳被围危急，谢安便请天子下诏，驰令驻江陵冠军将军刘波，率众八千北进襄阳，前往救援朱序。刘波奉诏出兵，只恨自己时运不济，却又不得不行，但因此前随桓温北伐时屡败于秦，知道氐人向来凶悍，此时不免畏敌如虎，引军逡巡于途，日行三二十里，不敢驰突北进。

转过年来，便是建元十五年二月，襄阳战事正酣，毫无节日详和气象。襄阳都护李伯护见秦兵围城不退，恐城破后玉石俱焚，遂密遣其子坠城以出，私通秦军，请为内应。苻丕遂命诸军急攻，与李伯护里应外合，由此攻破襄阳城。秦军生俘朱序，将其送至长安。秦王以朱序能守臣节不渝，反拜为度支尚书；复以李伯护不忠，将其斩首。以中垒将军梁成为荆州刺史，礼而用之，配兵一万，使其镇守襄阳。此时慕容越攻拔顺阳，执太守丁穆，亦押送长安，请秦王发落。苻坚敬其忠君守城不降，欲封其官，丁穆固辞不受，宁愿受戮，苻坚乃遣而不杀，任其自去。晋孝武帝闻报襄阳已失，遂以谢安为宰相，使退秦兵。谢安闻诸处失利，众心危惧，于是每镇之以静，不露忧急之色。其为政期间但举大纲，不为小察，时人皆以当年王导相比，谓以“王谢”。而若谓其文雅，尤比王导更有过之。却说秦王苻坚只顾南下伐晋，不防后院起火，四处危机已起。晋太武三年，先有巴西赵保据凉州而反，自称巴郡太守；十月又有豫州刺史北海公苻重据洛阳谋反，长史吕光遣人至长安告发。秦王遂命吕光逮捕苻重，押送长安，赦其死罪，免去豫州刺史，保留北海公爵位，遣返故里。

晋太元四年、秦建元十五年。秦梁州刺史韦钟在西城包围晋魏兴太守吉挹，晋右将军毛虎生率众三万进攻巴中以救。前锋都护赵福至巴西，被秦将张绍击败，损折七千余人，毛虎生退屯巴东。蜀人李乌聚众两万围攻成都，响应毛虎生，被苻坚遣破虏将军吕光讨灭。四月，秦将韦钟攻克魏兴，吉挹自杀未遂，为秦军俘获，终绝食而死。晋孝武帝下诏，赠谥吉挹为荆州刺史，并以北境战事迭起，年成不佳，命将皇室供御从俭，皇族供给和百官廪俸减半，其他赋役费用如不属军国需要，皆应停省。七月，秦兖州刺史彭超上书秦王，请求出击彭城，擒沛郡太守戴逯。若得彭城，便可趁秋冬水浅长驱大进，以取扬州。苻坚壮其武勇，于是未加细思便即准奏，遣使持诏前往兖州，任命彭超为都督东讨诸军事，大举南征。彭超奉秦王诏命，尽率青、兖二州之军启行，水陆并进，往攻彭城，八月合围。秦王苻坚为保必胜，复使大将俱难率步骑七万寇略淮阴、盱眙，以侧应彭超，牵制晋军右翼。晋孝武帝闻报大惊，急命右将军毛虎生率众出京，往镇姑孰以御俱难；复命谢玄率本部北府兵将，急驰往救彭城。谢玄领命，即率万余人乘船北上，进兵泗口。扎营已毕，欲遣使进城报与太守戴逯，令内外合兵夹击，却因敌军重重围困，信息难通，于是心怀重忧，苦思其计而不可得。

部将田泓猜知主帅之意，主动请缨道：“将军无非欲使人进彭城报与太守戴公，令其合兵夹击，而不得其使。某自幼生长于太湖边上，水性极佳，愿请涉水潜行而往。定不辱使命，将信息达于戴使君，若不能达，请斩我首。”谢玄许之，酌酒为壮行色。田泓潜至水边，不料被秦军巡哨所获，押至大营，搜出谢玄密信。彭超令释其缚，将酒食待之，并以金帛相赐，告谓田泓道：“公若肯降我秦国，富贵不可限量。若执意不肯，则目下尸首两分。”田泓因使命未达，于是佯作投降，说道：“某既为将军所获，如何不降？但不知有何差遣，定赴汤蹈火，在所不辞。”彭超大喜，于是告之以计：“你还去彭城，只对戴逯言讲晋军已被我所败，逃回建康去了，只送此信，便是莫大之功。”田泓伪许之，于是在秦卒监押下至彭城门外，对城上叫道：“晋天子令谢玄将军引军来救，不日便到，使君勉而待之，至期里外合击，必获大胜。”秦兵在身后跟随，听田泓如此传话，不由大怒，即引弓将其射杀于城下。当时彭超大军虽围彭城，但粮草尽在留城。谢玄闻田泓冒死已与彭城守将戴逯传递消息，于是设计，使人宣扬欲遣军一万去攻留城，劫夺秦军粮草。彭超闻之，只得撤却彭城之围，引军还奔留城，以保护辎重。彭城之围遂解，至此田泓以一身之死，救了彭城阖城军民性命，徐州之民无不感念其德。戴逯即率城中百姓及士兵，弃城而走，到泗口来见谢玄。谢玄遂救了戴逯及彭城军民，引领全军以还。彭超至留城扑空，知道中计，遂复据彭城，留部将徐褒镇守，以后军将军俱难、洛州刺史邵保为先锋，率步骑数万向东，攻下淮阴、盱眙。

建元十五年五月，彭超、俱难集中步骑六万，复围攻东晋幽州刺史田洛于三阿。三阿距重镇广陵只有百里，三阿被困，建康震动。晋帝闻而大惧，急令谢安立即沿江布防。谢安遣从弟征虏将军谢石统率舟师屯兵涂中，复遣兖州刺史谢玄率兵二万，自广陵往救三阿。彭超、俱难二将闻晋军远来，料其兵必然疲惫，于是不待传餐就食，便率部众前来迎战。谢玄兵虽远来，但方饱食，于是勇力向前冲突，彭超、俱难等便即大败，只得引残军退保盱眙，三阿之围遂解。六月七日，谢玄与田洛率众五万进攻盱眙，又败秦军，连克盱眙、淮阴。邵保战死，俱难等退兵淮北。谢玄犒赏三军，激励众将，扬声说道：“秦军今兵穷势寡，卒无斗志，我宜速进兵，若得一军乘潮夺其上游，则彼军自走。不知哪位将军敢当此重任？”部将何谦奋勇出列请令道：“小将愿往。”谢玄壮之，于是遣何谦率舰艇二百，乘潮而上，夜焚淮桥。俱难、彭超见淮桥已毁，恐后难退，只得向淮北败逃。谢玄、何谦与三阿守将田洛奋力追击，与秦军战于君川，遂大破秦军，杀伤过半。彭超、俱难弃军而逃，仅以身免。谢玄还军于广陵，朝廷进为冠军将军，加领徐州刺史。苻坚乃下彭超于廷尉，彭超伏罪自杀，俱难亦削爵为民。苻坚遂以毛当为徐州刺史，镇守彭城；王盛为南兖州刺史，镇守陆湖；王显为扬州刺史，镇守下邳。秦晋淮上战事就此告一段落，复相持胶着于徐州以南、淮水以北。