劉遠佔據穎川、衡山、南郡三郡的消息很快驚動了章邯，甚至驚動了秦君胡亥，所有人都沒有想到，當他們的目光都集中在東線的時候，不知不覺之間，劉遠卻已經悄無聲息地成為秦廷一個潛在的巨大威脅。
這其中當然有運氣的成分，古往今來成大事者，誰也少不了說不清道不明的運氣，如果不是章邯率領大軍先衝著陳勝和項羽等人去了，劉遠也不會有機會悄悄壯大自己的勢力，也不會有機會趁虛連取兩郡。
但有人能因此否認劉遠沒有實力嗎？當然不能，只要到過陽翟的人，就會知道劉遠在這裡下了多少工夫，秣兵歷馬，養精蓄銳，修改律法，贏得民心，又能刻意隱忍，悶不吭聲地埋頭發展，不至於引起秦廷和盟友們的警覺，這一件件一樁樁，換了個人來做，也未必能做到。
一定的運氣加上一定的實力，成就了劉遠今日的勢力。
此時的章邯已經被項羽牽制住，根本無力回師討伐劉遠，按理說，現在再分兵討伐劉遠，也絕對不是一個明智的決定，最好的做法是先集中兵力打敗項羽這一條線，再去對付劉遠，但秦君胡亥並沒有這麼做。
因為有個豬隊友趙高待在身邊的緣故，胡亥能夠獲知外界訊息的很多渠道都被蒙蔽堵塞了，等到劉遠的名字傳到他耳朵裡的時候，對方的地盤已經從一個穎川郡擴大到三個郡了，這三郡的兵力合起來怎麼也有十來萬，再放任下去，說不定人家就要直接往關中來了。
饒是胡亥不知軍事，此時也對劉遠此人提高了警惕，連忙召來近身侍從官吏，詢問對策。
當時圍繞在胡亥身邊的人，十有八九都是善於逢迎之輩，唯一一個有本事的章邯還在千里之外，一聽胡亥發問，豬隊友趙高就出了個餿主意，讓章邯分兵，調王離去討伐劉遠。
王離是秦朝名將王翦的孫子，王賁的兒子，就衝著爺爺和老子的名頭，不管實際能力怎麼樣，他的名聲也已經很大了，胡亥一聽王離的名字就充滿了信心，當即同意了趙高的提議。
項羽那邊，已經帶兵抵達了巨鹿縣南面，正準備與章邯展開一場大戰，此時的章邯，絕對不肯讓王離帶兵去討伐什麼劉遠，平白分薄了自己的兵力，於是章邯和王離商量了一下，決定「將在外君命有所不受」，先把眼前的仗打贏了再說，到時候將功折過，秦君也很難再追究他們抗命不從的事情，否則不用等胡亥追究，他們兵力一分，到時候兩頭都落敗，也逃不過一個死字。
既然章邯那邊抽不出空對付他，秦廷也派不出更多的兵，劉遠決定讓許眾芳再次嘗試攻打一下南陽郡，如果能打下來，那是最好的，如果不能的話，也還有足夠的時間休養生息。
但南陽郡不是那麼好打的。
這時南陽郡的郡守叫楊膘，原本是直屬中央的官員，官職是諫議大夫，因為得罪了趙高被下放到地方，而南陽的郡尉叫韓山，帶兵打仗同樣很有一手，這兩個人合作無間，硬是將許眾芳打得灰頭土臉，鎩羽而歸。
許眾芳首戰告敗，劉遠也沒有氣惱，反倒去信囑咐他好生休養整兵，這世上有常勝將軍，卻沒有百戰百勝的將軍，劉遠早就做好在南陽郡遭遇一兩次挫折的準備，更何況己方現在兵強馬壯，也經得起這點損失。
張氏這邊，正為了一件事而煩心不已。
只因劉遠的其中一名姬妾有孕了。
這本不是一件稀奇的事情，劉遠現在的姬妾也不少了，從南郡時帶回來的，加上原本在府裡的那兩個，現在估計十個手指也數得過來。
但這並沒有為劉遠戴上一頂好色的帽子，因為劉遠實際上去這些姬妾屋裡過夜的次數並不多，一個月裡大約也就一半的時間，而且還不是固定在一名姬妾身上，而是興之所至，隨便去一個屋子，其餘時間，他還是撲在各種事務上面劉遠很珍惜他如今得來不易的一切，自然不會自毀根基。
就這樣，劉遠竟然還贏得了一個「善於克制」的美名，在這個時代的人看來，劉遠雖然出身寒微，驟然富貴，卻沒有像其他人那樣沉湎於美色，一蹶不振，反而還像從前一般尊重嫡妻，善待子女，禮賢下士，這就足夠了！
至於姬妾，那只是附帶的玩意，只要劉遠沒有把幹正事的心思花在她們上面，不管是宋諧還是安正，誰也不會去多嘴干涉。
事實證明，男人和女人看問題的角度是絕然不同的。
姬妾有孕，宋諧和安正他們覺得小得不能再小的小事，在張氏看來卻是大事。
不僅大事覺得是大事，跟張氏往來的女眷也覺得此事不小。
為此，與她交好的女眷就提醒她道：「須知男人對家中的女人，向來只分兩種，正妻與姬妾，但是對於兒女，那可就不一樣了。」
張氏對這句話心有慼慼然，可不是麼，女人沒了可以再娶，但是兒女是血脈的繁衍，是姓氏的延續，雖然也有嫡出和庶出的差別，可若是男人想要寵愛庶出的兒子，冷落嫡出的兒子，只要鬧不出大事，旁人也說不了什麼。
懷孕的姬妾姓謝，劉遠對她的態度很一般，談不上喜歡也談不上討厭，原本張氏也沒覺得她是個威脅，但這會兒聽說這個姬妾懷有身孕，心裡頭就難免有些異樣。
對方見她還不開竅，忍不住又說得直白一些：「郡守現在尚且是郡守，那倒也就罷了，左右將來郡守之位，必定是要長公子來繼承的，但要是郡守封王了呢？王位不比郡守之位，屆時必是人人起意搶奪。雖說公子楠非小君所出，可也比同親子，若是由他繼承，將來必能善待小君你，可若是由姬妾所出之子繼承，只怕就有禍事了！春秋時晉獻公殷鑒不遠，小君不可或忘啊！」
晉獻公之事說的是春秋時，晉獻公被驪姬所惑，不僅廢掉了太子申生，改立驪姬所生的兒子奚齊的事情。可見自古以外廢嫡立庶的事情從來就不少見，尤其是在天家，單憑主君一人喜好，這樣的故事就更多了。
這女眷讀書不少，還知道用晉獻公的故事來勸諫張氏，
張氏不知道什麼晉獻公的殷鑒，但那女眷的話她是聽懂了，聽完之後，她總算明白自己為何聽到姬妾有孕就如此不痛快了。
說到底，張氏雖然本身見識不廣，但來到陽翟的日子久了，眼界總會開拓的，耳濡目染，她也知道劉遠現在有多大的權勢和地位，以前連妯娌于氏肯上門，她都要高興半天，現在鎮日卻有數之不盡的人簇擁在她周圍奉承她，等待她的垂青。而且隨著劉遠勢力的進一步擴大，他很可能要稱王，那麼自己也就很可能要成為正妃，這些曾經都是她想都不敢想，可望而不可即的，現在卻已經近在咫尺。
張氏心想，既然劉遠稱王，那麼被他選中的兒子理所當然也會繼承王位，如果是劉楠，那她也就認了，但若是被哪個姬妾的兒子後來居上……
想到這裡，張氏不由暗暗咬牙，那她是怎麼都不會甘願的！
那女眷的話給了張氏當頭一棒，她迫切地需要旁人的幫助和建議，想來想去，她召來了比較信任的韓氏，詢問了她的意見。
在她看來，韓氏出身韓王宮，見多了這種事情，肯定是很有辦法的。
韓氏聽了前因後果，沉默片刻，道：「自古廢適立庶，無非有兩種情況，一是主公甚愛此姬，愛屋及烏，故而欲立此姬之子；二是庶子聰穎過人，天資非凡，深受主公看重，故欲立之。恕我直言，眼下這兩種情形皆不存在，所以小君實在所慮過早了。」
張氏又何嘗不知她現在有點杞人憂天，可她也很清楚，自己雖然是正妻，可劉遠既不尊敬她，也不寵愛她，她所能倚仗的，無非是生的這幾個兒女，隨著劉遠越走越遠，越爬越高，兩個人之間的距離必然越來越大，要知道現在劉遠基本已經不會在她的屋子過夜了，大事更從來不會詢問張氏的意見，張氏的焦慮感越來越重，生怕有朝一日就會讓劉遠拋下。
「若是真有這一日，只怕為時已晚。」張氏道。
「小君可尋個機會與郡守長談交心。」韓氏提議道，在她看來，劉遠不是不講道理的人。
張氏發愁：「我如何沒有試過，可每每總是不歡而散，實在話不投機！」
韓氏無語了，她旁觀者清，覺得這對夫妻的代溝不是一天兩天能夠挽回的。
張氏既不懂閨房情趣，和她說軍國大事更加一頭霧水，所能談的也不過是郡守府裡這一畝三分地，反正同樣都是睡覺，劉遠幹嘛不找個年輕漂亮又知情識趣的呢？
這個世道只有妻子遷就丈夫，哪裡有丈夫去遷就妻子的道理，更何況沒有劉遠，就沒有今日的劉家，雖然不能說張氏錯了，可是她沒有足夠的手腕和能力來駕馭這個局面，這就是她的缺陷。
但是見張氏實在憂慮不安，她想了想，又出了個主意：「如今長公子已有婚約，阿楨卻還未有，郡守素來看重她，小君不若多花些心思在阿楨身上，投桃報李，日後若有什麼事，想必阿楨也願意為你在郡守面前美言的。」
張氏被她一提醒，這才恍然。是了，劉楨那邊還有跟姬家定下的口頭婚約呢！雖然只是小兒女口頭上的約定，可雙方長輩都是知曉的，也默認了，但終究不算正式，什麼時候過了明路，才能算是真正訂了親。阿楨今年已十歲，親事可先訂下來，等及笄了再操辦也不遲。
既然想起這件事，張氏很快就派人去姬家，打探對方的口風，大概意思是既然小兒女兩情相悅，如今我們也算門當戶對，什麼時候來我們家提親啊？
張氏本以為這件事是十拿九穩的，誰知道婢僕回來傳的話，卻令她又驚又怒。
姬家那邊的回復是：如今劉家已據三郡之地，而我姬家卻只是寒門小戶，實在高攀不起，犬子年幼無知，學識淺薄，也實在不配郡守之女，昔日所謂婚約，本是小兒女口頭所訂，不能作數，若是劉郡守願意寬大為懷，不計前事，我姬家上下自當感激不盡。
說來說去，無非是一個意思：姬家不想承認這樁婚約了。
張氏那個氣啊，直接就捅到劉遠那裡去了。
劉遠同樣也氣恨不已，他本想讓人將姬家老幼綁來，可轉念一想，女兒還沒出嫁呢，這樣做豈不是反而顯得劉楨好像死賴著非要嫁給他們家似的？
於是他直接將劉楨找了來，將此事與她一說，並道：「你若是不忿，為父這就命人將姬辭那小兒綁了來！」
劉楨的反應異常平靜，她只對劉遠說了一句話：「我想親自見一見他。」