薛蟠和賈寶玉是表兄弟，賈寶玉又是薛姨媽暗許的女婿，按理說薛蟠對這位寶弟弟要多關照才是，不過小說有多處寫出了二人的不和，當然薛蟠很粗俗，但如果真心實意對寶玉好，寶玉也是能體會出來的，事實上並非如此。小說中幾處寫道薛蟠和賈寶玉的不合拍：
其一，頑童鬧學堂。這次書中未寫薛蟠出場，是他的「好朋友」金榮和秦鍾、寶玉之間的紛爭。書中明寫控制學堂的是「偶動了龍陽之興」的薛蟠，大家「都懼薛蟠的威勢」，「暫且管理」學堂的賈瑞也「一任薛蟠橫行霸道」。金榮和寶玉秦鍾之「鬧」實際上是薛蟠和寶玉之爭。有趣的是引起事端的「生得嫵媚風流」的兩個學生的「外號」，一號「香憐」，一號「玉愛」，似乎可以從這兩個外號的諧音和含義引起點什麼聯想。把這件事說清楚的是三十四回寶釵「暗暗想道」的話：「我的哥哥素日恣情縱慾，當日為一個秦鐘，還鬧得天翻地覆。」原來鬧學堂的罪魁禍首是薛蟠，是薛蟠和寶玉的對立。這個對立書中寫得很隱，寫得很淡，卻是一條貫穿全書的粗線。學堂之鬧和香菱表面上無關，但香菱是站在旁邊的，明寫學堂之鬧暗含寶玉薛蟠因香菱而起的對立。
其二，寶玉挨打。寶玉挨打實乃薛蟠所為。死了個丫頭金釧兒，如果不聲張，倒也不是什麼大事。看看晴雯之死。原因如焙茗所說：「那琪官的事，多半是薛大爺素習吃醋，沒法兒出氣，不知在外頭挑唆了誰來。」薛蟠自己對他母親和妹妹說：「那琪官，我們見過十來次的，我並未和他說一句親熱話。怎麼前兒他見了，連姓名還不知道，就把汗巾子給他了。」《石頭記》作者敘述中說：「這一回卻不是他幹的。」似乎在「這一回」外還有其他幾回。這句話不是作者以假掩真而是以假顯真：這一回又是他幹的。薛蟠聽了他媽媽妹妹為此事理怨他後就嚷：「既拉上，我也不怕，越性進去把寶玉打死了，我替他償了命，大家乾淨！」這幾句話似乎只是「呆霸王」的粗魯，只是口頭上胡說而已，其實是作者以此寫出薛蟠潛在的「打死寶玉」的念頭，表明二人有不可調和的矛盾。
那麼，薛蟠為何不喜歡寶玉，甚至要至於死地：江湖以為裡面還是一個香菱，因為薛蟠覺得賈寶玉和香菱二人之間有些見不得人的勾當，因為他自己就是看見美女走不動的主。當日看見林黛玉，渾身都酥倒了。
另外小說有多處寫到香菱和寶玉的親暱：在《呆香菱情解石榴裙》一回中，香菱說：「我有夫妻蕙。」思夫並不可羞，羞在「想夫妻」上，這段文字從「想夫妻」入題，渲染氣氛，暗示主題。「寶玉笑道：『你有夫妻蕙，我這裡倒有一枝並蒂菱，』」書中前文說到的觀音柳、羅漢松、君子竹、美人蕉;星星翠、月月紅;牡丹花、枇杷果等等，都是成雙配對的。現在寶玉又以「並蒂菱」與香菱的「夫妻蕙」為對，即香菱與寶玉為對，前面的許多對都是為了引出這一對。最值得注意的是這裡出了「菱」字，而且是「並蒂」的「菱」？從「夫妻蕙」到「並蒂菱」，香菱和寶玉的關係已經清楚了。焦點還是在石榴裙上。「香菱道：『什麼夫妻不夫妻，並蒂不並蒂，你瞧瞧這裙子。』」一個女子叫一個男子瞧她的裙子，是極親暱的了。這是由夫妻、並蒂引出的，瞧裙子，管他什麼夫妻不夫妻呢！寶玉道：「你快提動，只站著方好，不然連小衣兒膝褲鞋面都要拖髒了。」香菱「又命寶玉背過臉去，自己又手向內解下來」之後，「香菱拉他的手笑道：『這又叫做什麼？怪道人人說你慣會鬼鬼祟祟使人肉麻的事。』」二人分開已走了幾步，香菱叫住寶玉說道：「裙子的事可別向你哥哥說才好。」香菱寶玉之間不可告薛蟠之事，可知是什麼事了。
「為紅顏衝冠一怒」，自然不只一位吳三桂，還有我們這位弄性使氣的薛大公子，當日曾經把一個小鄉宦之子馮淵打了個稀巴爛，不過如今面對的是賈府的少爺，甚至是賈府未來的接班人，就只有敢怒不敢言的份，不過心裡頭，對賈寶玉的不滿是一定的了。