東魏與西魏之間的爭戰，從東魏天平元年（公元534年）孝靜帝即位開始，一直打到武定八年（公元550年）東魏被北齊取代，基本上保持著年年有小仗，三年一大仗的規模。之所以會如此，根本原因在於它們都視對方為譖偽，不承認對方政權的合法性，恨不得立即將對方置於死地。
就正統性而言，雙方各有各的道理。東魏方面依然據有原北魏的國都，以及統治的中心地區，除了關中、隴西的幾個州和賀拔勝的荊州，其他大部分州都向東魏稱臣，寫《魏書》的魏收是東魏-北齊的大臣，自然也把東魏作為正統；西魏方面握有原北魏最後一個皇帝，以「帝統」來論，它的正統性不該受到質疑，《資治通鑒》就以西魏為正統，仍然稱之為魏。
其實，高歡對於孝武帝的帝位，也不敢有半點否定的意思——孝武帝本來就是他擁立的，假若孝武帝以討逆的名義，發動關中的兵力來對付他，的確會給他帶來不少麻煩。問題是，孝武帝在長安待了不到半年就死了，宇文泰成了高歡口誅筆伐的弒君者，他所立的繼位者，高歡完全不予承認。
孝武帝之死，是他自身的悲劇，但又很難讓人對他產生同情。他從洛陽跑到長安，是為了做手握實權的真皇帝，然而寄人籬下，又怎麼可能為所欲為？宇文泰對皇帝的態度畢恭畢敬，是要把他供奉起來，作為自己的政治資本。孝武帝悲哀地發現，自己傀儡的身份沒變，變的只是幕後的操縱者，裴俠的預言，不幸應驗。心灰意冷之餘，他「自甘墮落」，把三個堂妹封為公主，留在宮裡享受，乃至亂倫。宇文泰對宮闈醜惡行徑，堅決反對，就聯合其他幾位親王，把孝武帝寵愛的平原公主元明月抓起來殺了。孝武帝氣壞，我就這麼點小小的「愛好」（雖然很變態），你宇文泰還來干涉！君臣二人的矛盾越來越公開。宇文泰便在酒裡下了毒，送孝武帝上了西天。
西魏大統元年（公元535年），孝武帝的堂兄、平原公主的親哥哥南陽王元寶炬在長安即位，是為西魏文帝。文帝是個比較聽話的皇帝，把大權統統交給了宇文泰。
宇文泰很快收降了靈州的曹泥，將整個關中置於西魏的治下。儘管如此，西魏無論領土還是人口，都比不上東魏，要與東魏抗衡，就得強國富民，從內部進行全面整頓。關中自六鎮之亂以來戰亂頻頻，弊政纍纍，人民得不到休養。宇文泰命有關部門參考各朝的經驗，頒行了二十四條新制，利在安民。宇文泰的內兄王超世擔任秦州刺史，貪贓枉法被有司查獲；為明正典律，他親自過問此案，要求加重處罰，賜死了王超世。
他最大的妙招，是重用了蘇綽這個人才。蘇綽是漢人，世居關中的武功（今陝西武功西北）。他的特長，按照史書的說法，叫「尤善算術」，按照現代的說法，就是懂經濟。真正懂經濟的人才，即便在當今都是搶手貨，何況是在一千五百年前的西魏。蘇綽不僅懂經濟，而且通曉古今，辯才極佳。宇文泰與他交談，詢問天下興亡之道，他應答如流，令宇文泰嘖嘖稱奇。宇文泰拜他為大行台左丞，參與機要事務。蘇綽制定了一套文案程序，在西魏境內推廣記賬、戶籍的標準。這便是中國千年「記賬」制度的起源，僅此一點，蘇綽就足以名垂青史。
人少地狹的關中經過宇文泰一系列的政策改造，境況有了改善；與此同時的東魏，高歡也在忙著鞏固力量，清理門戶。
在關東，高歡遇不到對手。他派侯景去荊州攻打賀拔勝，賀拔勝戰敗，南逃去了梁國（梁武帝待賀拔勝不錯，後來放他回到關中，投在宇文泰的帳下）。他派婁昭（婁昭君的弟弟）等人攻打不服管的兗州刺史樊子鵠，也是不費很大氣力，破城殺了樊子鵠。高歡又親自領兵進攻北面的「稽胡」劉蠡升，先在戰場上將劉蠡升的主力打敗，接著又假意與他約和，突襲他的殘部，消滅了這支為患北方邊境多年的力量。
高歡在外東征西討，卻沒想到自己的相府後院出了事。他休兵回到晉陽，便有一名婢女向他告，十五歲的世子高澄（高歡受封渤海王，長子高澄是王世子）與父親的愛妾鄭氏私通，並有兩名婢女作證。
高歡頓時火冒三丈，回想早年顛沛流離，高澄作為長子，是唯一跟自己受過苦難的，現在老爺子享了福，總算可以納幾個美女為妾，在府上放縱一下，高澄竟也想來分一杯羹，成何體統！他當即把高澄叫來痛打一百板，關進了小黑屋，又遷怒於夫人婁昭君，把她也軟禁起來，不許母子見面。這還不夠，爾朱榮的女兒爾朱氏（即孝莊帝的皇后，高歡進洛陽後把他收入府中）為他生了個兒子高浟，他很喜愛，便想廢掉不肖的高澄，封小高浟為世子。高澄和婁昭君都嚇壞了，去請司馬子如幫助調解。
司馬子如的口才，前面介紹過，在高歡手底下是數一數二的（應該拉來跟西面的蘇綽辯一辯，呵呵）。他不緊不慢地跑到高歡那裡，裝作不知情，求見婁昭君。高歡無奈地把家醜告訴他，又說過幾天就把高澄換掉。
司馬子如歎了口氣，說：「各家都有本難念的經，我兒子消難也跟我的小妾私通，這種事可得遮著掩著，不能亂說。婁妃是大王的結髮妻，還做姑娘的時候就資助大王。當年在懷朔鎮，大王挨上司的打，體無完膚，她日夜守護在您床頭，悉心照料；後來大王逃避葛榮，去并州投奔爾朱榮，路上把鞋子都踩破了，她夜裡燒著馬糞給您修補。昔日點點滴滴的恩情您都忘了嗎？如今大王發達了，女兒嫁給皇上，兒子承繼大業，領軍婁昭又功勳卓著，豈能輕動世子之位？更何況，婢女的話怎能輕易相信？」（司馬子如的這段話，我極喜歡，也極佩服，古往今來幫家務事幫到這份上，也算一絕了。他一上來將心比心，瞬間拉近與高歡的距離，然後小處動情，大處講理，末了還給高歡一個台階下。再鐵石心腸的人，怕是都頂不住這輪軟磨硬泡的「攻勢」）
高歡聽了，就派司馬子如重新調查。司馬子如逼迫兩名作證的婢女翻供，又脅迫告發的婢女自殺，回來對高歡說：「果然是誣告！」高歡召見婁昭君和高澄，夫妻、父子抱頭而泣，恩愛如初。司馬子如得了厚賞，成為與高歡關係最為密切的輔臣之一。（從此事的另一個側面，也可看出高歡對子女教育的失敗。高歡身上濃厚的鮮卑文化，造就他詭譎隱忍的處事風格，利於亂而不利於治，北齊後來盛極而衰，其根源也在於此）
司馬子如強於內政，打仗就外行了。天平二年（公元535年），他與大都督竇泰、太州刺史韓軌一同攻打西魏的潼關，宇文泰親率大軍屯於灞上，他便退兵攻打華州，又被華州刺史王羆擊敗。
高歡決定親自來會宇文泰。天平三年，天公不作美，關中鬧饑荒，死者遍野。這年年底，高歡督統東魏諸軍討伐西魏，高敖曹攻打上洛（今陝西商縣），竇泰攻打潼關。高歡的晉陽軍則在北面的蒲阪（今山西永濟西）黃河渡口架起三座浮橋。東西魏的第一場大戰拉開了戰幕。
高歡的戰略方針是，以晉陽軍把西魏主力吸引到黃河邊，竇泰乘虛攻入關中，端掉宇文泰的老巢。
宇文泰駐軍渭水以北的廣陽，一眼便看破了東魏軍的陣勢，他召集眾將說：「敵人三面進攻，造浮橋以張聲勢，正是要我軍上當。高歡自起兵以來，總以竇泰為前鋒，兵士屢戰屢勝，十分驕狂。我宇文泰偏偏不怕他，要把他擺平。竇泰一敗，高歡不戰自退！」
眾將不解，都說：「高歡近在黃河對岸，竇泰遠在潼關，捨近而求遠，若有不慎，悔之晚矣！不如分兵抵禦。」
宇文泰呵呵一笑，說：「高歡屢攻潼關，我都不出灞上；此次大舉來攻，有意小看我軍，以為我還是不敢輕易出擊。乘機突襲，何愁不勝？敵人雖然造了浮橋，想要渡過黃河尚需時日，我以輕騎兵挺進，不消五天的工夫，必能取到竇泰的項上人頭！」蘇綽與中兵參軍達奚武都贊同宇文泰的策略。
宇文泰回軍長安，路上放出風聲，說要放棄潼關，退保隴西。見過西魏文帝后，他悄悄引兵向東，兩天後出現在潼關東南的小關，包抄竇泰的軍隊。竇泰大吃一驚，倉促依山擺陣應戰。陣勢還沒成型，宇文泰的輕騎兵已殺到跟前，東魏軍死傷殆盡，竇泰無法突圍，窘極自殺。
春天氣溫轉暖，黃河上冰層太薄，高歡大軍雖有浮橋卻不能快速渡過黃河，面對竇泰的失敗有心無力，最終撤去浮橋，退兵返回晉陽。
南路高敖曹的漢軍騎兵戰績不俗，高敖曹身先士卒，所向無敵。拿下上洛後，他打算從藍田入關，直取長安，高歡派人傳信，告知竇泰失利的消息，讓他撤軍。高敖曹這才很不情願地整軍而退，上洛隨後被西魏奪回。（高敖曹打硬仗的能力讓高歡倍加賞識，此後對西魏的戰事他都擔以重任，與高歡的主力軍配合行動）
潼關之戰，宇文泰初試鋒芒，以極小的代價取得全勝。綜觀此戰，高歡本想以優勢兵力調虎離山，奇襲關中，反被宇文泰以聲東擊西之計回敬，東魏軍一無所獲，還折損了大將竇泰。兩家鬥智，宇文泰先拔頭籌。稍嫌遺憾的是，兩人沒能在戰場上面對面地展開較量，高歡輸得並不服氣，一心報仇雪恥。東魏軍時刻蓄勢待發，準備捲土重來，一場大戰迫在眉睫。