上山合战是上杉军进攻最上以来所遭受最惨烈的失败，不仅损失了横田旨俊、内藤左卫门等数员大将，还没有实现攻陷上山城进而合围长谷堂城的战略构想。不得不说是对直江兼续的一次重大打击。

    得知上山城战败且损失惨重，直江兼续却无可奈何，上杉军围城已有五天，却没有取得任何战果，这期间直江兼续不断地调集近两万五千兵力围城。包括攻陷白岩城的志驮义秀、攻破谷地城的下吉忠、占领鸟屋森城的中条三盛以及刚刚退回中山城的色部光长，还特意派遣在须川之战中有出色表现的水原亲宪布阵于谷柏富神山东麓一带，用来防范山形城方向的最上军。

    三月初三，在围城十五天后，直江兼续收到本庄繁长密信。得知伊达政宗在松川惨败准备退回本领，而留守政景也有意向退回岩出山城，便决定乘机向长谷堂城发动总攻。他以前田庆次、中津川秀国、仓贺野元纲、青柳长忠、筱井泰信为先锋，配合青海川图书的铁炮队向长谷堂城发动攻势。

    长谷堂城内，深濑甚助、市川若狭守的铁炮队予以还击，双方在城外土堀展开对射。当上杉军攻至城门时，包括志村高治的长谷堂众、小国大膳的小国众、坂纪伊守的成泽众、佐佐木纲知的鲑延众、后藤将监的山野边众、草刈志摩守的天童众在内的最上军由城内冲出，两军在城外野战，战况异常激烈，双方的铁炮队也在不停射击，战死者不计其数。

    激战中，上杉家大将冈谷备中及马场次郎兵卫战死，最上家也阵亡了数十名家臣，两军战至傍晚依旧不分上下，只好各自罢兵。此后五天时间里，直江兼续又组织了数次进攻，虽然都被最上方击退，但碍于缺少援兵，城内处境日益艰难，最终只剩下不足三千人，而作为援兵的留守政景则是按照伊达政宗的命令严守须川一线，不愿驰援长谷堂参加守城，因此，胜利的天平正在逐渐向直江兼续倾斜。

    然而直江兼续万万没想到，就在攻克长谷堂已经朝不保夕之时， 他却收到上杉景胜急报，说是秀保已经于二月二十八日亲率讨伐军出征会津，命令其立即率兵返回若松城准备迎战。

    按照直江兼续的设想，秀保出兵至少要一个月时间，在这段时间里上杉家集中优势兵力定能压制最上家，再割让部分最上领和伊达家保持和睦，确保身后无忧，之后再回兵会津备战。没成想秀保虽然是开战一个月后才出的兵，可上杉家并没有利用好这段时间，而是在长谷堂城下一耗便是二十天，非但没有压制最上义光，反而损失惨重，并且和伊达政宗刀兵相向，这种周边环境比开战前更为糟糕。

    直江兼续本想孤注一掷先攻陷长谷堂城再回师若松，但上杉景胜此后三天连续的催促使得他不得不撤围退兵。三月初十深夜，直江兼续命令青叶入道及反町大膳修缮狐越街道准备撤军，他将全军分为十三段，命春日元忠、筱井泰信二人先行，水原亲宪和沟口左马助殿军。次日天色微明时分，兼续下令放火烧营，全军由长谷堂城外的菅泽山本阵开始沿狐越街道撤退，而最上军却以为这是直江兼续的计谋而不敢出城，这反倒为上杉军的撤退争取了时间。