决定了前往徐州之后，羊毅开始着手准备。
位于黄河以西的汉民，全部迁入五原郡，而东西河地区的百姓，则全部迁入离石。羊毅的主力一撤，势力收缩是必然的，没有汉家军队的守护，胡汉杂居之地的百姓，几乎就是胡人屠宰的羔羊。 除了迁民，最重要的是粮食，从离石到彭城，两千余里地，粮食不足，是要命的。
羊毅手中粮食并不多，此时只能尽可能的集中，不过军中牛羊倒是不少，路上可以用来换粮食。
而另一个更重要的东西是马匹。
羊毅很清楚，曹昂在徐州，几乎什么都不缺，唯独缺战马。
虽然曹昂之前已经囤积了大批的战马，但战马毕竟是消耗品，而徐州又几乎没法补充。
这次南下，羊毅不知何时才能返回，为了保证马匹的充足，他提前几个月便囤积马匹。除了军中自养的，还拿出大批物资跟南匈奴人榷市。整个使匈奴营兵力不过五六千，但马匹却有上万匹。
八月下旬，羊毅做好了全部准备。
此时羊毅麾下，有使匈奴营六千五百人，徐晃的西河郡兵一千六百人，张辽的上郡郡兵两千三百人，共计万余人。
除此之外，还有三千多名新兵。这些人说是新兵，实际上是愿意跟着羊毅前往徐州的百姓。
羊毅也愿意带着他们。 边地百姓，几乎人人训练。稍加磨砺，就是一支强兵。
整个撤退的队伍有一万三千余人，在人口稀少的并州，算是一支强大的力量，这也是羊毅敢于前往徐州的底气。
从离石到彭城，道路众多，而羊毅一行最大的挑战是出并州。
出并州有三条路，一条是沿汾水入河东，这条路正面是牛辅主力，而且沿途都是董卓的势力范围，肯定不成。
第二条是经上党郡入河内。羊毅思索一番，也放弃了。上党是个盆地，出入道路不多。若是董卓将南北道路堵住，羊毅所部很可能困死在上党。
而第三条路，则是一直向东，经太原郡，走井陉入冀州。
曹昂和韩馥也算盟友，只要进入冀州，勉强算安全了。
对于羊毅的决定，徐晃、张辽和成公英三人皆无反对。大家的目的是平安撤到徐州，没人愿意和董卓军主力死磕。
八月二十五日，羊毅命令徐晃率一部骑兵西进，做出向界休逼近的架势。
此时董卓所部，牛辅主力屯于平陶，手下校尉李傕屯于永安，校尉郭氾屯于邬县。三部呈品字形分散于离石东面，既护住身后的太原，又挡住羊毅东进的道路。 羊毅很清楚，这一段时间大规模集结部队，囤积物资，瞒不住牛辅。而牛辅之所以未动，只是不清楚羊毅的目的。
一旦大军贸然撤离，让牛辅弄清羊毅意图，必然会遭到牛辅的围追堵截。
太原地区，亦是一个盆地，四面环山，道路就那么几条。一旦遭遇牛辅所部前后夹击，进退两难，大军的撤退很可能成为一场溃败。
所以大军要撤，就一定不能表现出撤的意图。
羊毅命徐晃突袭界休，摆出一副要决战的架势，得知消息的牛辅，立刻便惊了。界休位于太原盆地最南端，一旦羊毅所部占领界休，整个牛辅所部，便被切成两截。
牛辅也是大意了。
他一直觉得是在威压羊毅，根本没想过羊毅会主动出击，因此对界休方向放松了警惕。
得到消息的牛辅，立刻命令麾下校尉张济率部支援界休。
牛辅的反应算是很灵敏了，可惜这是羊毅设下的陷阱。张济所部一动，羊毅便命张辽率部南下，赶在张济救援的必经之路伏击。
张济措不及防，损兵两千余，灰头土脸地返回平陶。 而徐晃也未再攻打界休，而是直接返回离石。
牛辅得知消息，心中愤怒，知道中了羊毅诱敌之计，恨不得立刻率兵杀向离石。不过离石地形复杂，他也不敢轻举妄动。
过了两日，羊毅又命令徐晃率一部骑兵，出文水，做出直逼太原的架势。
牛辅闻知消息，又是一惊。
太原囤积着大量物资，兵力却没有多少，一旦失守，他们和羊毅在并州的攻防之势将会发生巨大变化。
于是牛辅不得不又派兵支援。
徐晃明着攻打太原，半路之上，听到牛辅所部来援，直接掉头回击，和文水方向的张辽两路夹击牛辅援兵，又胜一阵，斩首近两千人。
连续两场大败，大大挫伤了董卓军的锐气。
牛辅算看明白了，羊毅根本不是攻城，其目的是消耗他的兵力。而他被对方牵着鼻子走，疲于应对，损失惨重。
眼看如此局面，牛辅决定，将主力集中在文水和兹氏两条离石通往太原的主道上，同时多布斥候，多加戒备，将羊毅堵死在离石。 如此过了十余天，羊毅又出击了两次，果然再无所获。
牛辅心知自己的计策奏效，便继续以此法抵御羊毅。
又过了十多日，羊毅似乎承认了失败，没再出击。牛辅心中得意洋洋，他几乎封死了羊毅与外界的联络。眼看冬天将至，没有太原郡支援，看羊毅这个冬天怎么过。
日子一直到了九月底，盘踞在离石的羊毅似乎没了动静。
这时牛辅麾下校尉贾诩心知不对，便劝牛辅主动出击试探。牛辅刚开始还不愿意，毕竟离石是个难啃的骨头。
可经不住贾诩的劝说，终于举兵西向。
可是牛辅一直打到离石城下，这才发现，羊毅的主力，早走的干干净净。经过询问当地人得知，羊毅所部已经离开了快半个月。
牛辅有些懵了。
羊毅难道退往五原郡了。于是牛辅立刻派兵向西追击，可直到渡过黄河，追兵也未发现踪迹。
此时的牛辅，满心的狐疑，只是他万万想不到，羊毅所部主力，此时早就一路向北，绕道汾阳邑（治今山西省静乐县西），直扑太原了。 汾阳在前汉是县，后来被废。
南匈奴人南迁之后，整个吕梁山脉的汉人几乎绝迹，所以无论是刘靖还是牛辅，根本没想过这片土地，此时正好让羊毅利用上。
西河大军从太原北面出山，立刻占领了狼孟，而牛辅的主力大军，则被远远地甩到了他们的身后。