貞觀七年(655年)，宮中發生了一樁醜聞。有個叫楊譽的好色之徒，行為放蕩不羈，竟然在皇宮禁地追逐、挑逗宮女。
這件「逐婢」醜聞事涉皇親國戚(楊譽的女兒是唐太宗第六子的妃子)，所以影響極其惡劣。消息一傳開，朝野上下一片嘩然。都官郎中薛仁方聞訊後，將楊譽扣留起來查問，準備依法處置。
此案尚未來得及裁決，擔任皇帝侍衛保鏢的楊譽之子卻出來發難了。他不但不為楊譽所為感到羞恥，反而為其大訴冤屈，向唐太宗告狀說：「因為我父親是皇家親戚，薛仁方才故意節外生枝，把他老人家扣留起來，又遲遲不做決斷，這是在拖延時間，有意刁難皇上啊。」
跟皇家過不去，這還了得？唐太宗聽了他的話，大怒說;「薛仁方不可容也！」當即下旨打他一百杖，解除公職。
對唐太宗要懲處薛仁方的做法，魏征實在看不過去，進言說：「城牆下的狐狸和土地廟裡的老鼠，雖然都是微小的動物，只因它們倚仗巢穴做掩護，除掉它們尚且不易，更何況那些世家貴戚，自古以來就難於治理，以致東漢、西晉以來外戚專權，發展到朝廷不能駕馭的嚴重地步……」
魏征的話無疑給唐太宗敲了一記警鐘：皇帝要管好身邊人，以防他們像「城狐社鼠」那樣成為朝廷的禍害。接下來，魏征據法力辯，說薛仁方既然是履行自己的職責，為國家執行法紀，怎麼可以因此對他濫施刑罰，助長外戚的私慾呢？皇帝這樣放縱皇親，此例一開，就會招來各種事端，將來後悔莫及，要改變也就困難了……
唐太宗聽了這些話，內心有所觸動，決定赦免薛仁方。但是，薛仁方拘禁皇親未及時上奏，也是專權作勢，雖不宜治以重罪，也應稍加懲處。於是，他命人打了薛仁方20大棍才算完事。