潘罗欢实在受不了没有女人的日子。他常常趁蒙军百人队长出城劫掠或喝醉的时候，偷偷与小翠花幽会。这小翠花也被蒙古百人队长蹂躏的不成样子，每次都哭求潘罗欢带她远走高飞脱离苦海。只是潘罗欢在求欢前满口答应，完事后便置之不理，明显是个无情的渣男。小翠花先是满心期待，后来便是心灰意冷，再后来便是心生恨意，索性将两人私通之事告诉了蒙古百人队长，并哭诉说是潘罗欢胁迫。这蒙古百人队长听后蛮性大发，拔刀就满城寻潘罗欢。潘罗欢从亲信处得知消息后大惊失色，偷了一匹马便夺路而逃。当前崇庆府已没有他容身之地，霹雳军更不待见他，他准备逃往嘉定府去投奔俞兴之子俞大忠。俞兴派人收复邛州之后，命俞大忠执掌邛州。由于两州府相邻，相互之间公事交往颇多，加之两人年龄相仿也都是纨绔子弟，气味倒是十分相投。成都之战失败后，蒙军尚未进犯邛州，俞大忠便弃了城乘船沿水路逃往嘉定府。在行经新津城时，他曾派快船来邀潘罗欢一同前往。这潘罗欢心知到了嘉定府，自己部属财产必然被贪心极重的俞兴父子夺去，失去了崇庆府城这个根基，自己便没有了资本。故他推脱了俞大忠不怀好意的邀请，而是留下来与蒙古人谈判，试图当一方土皇帝。