明朝時，堂邑縣城西北十里，有個趙家花園。莊主趙員外的前幾個兒子，都在外做了官，一個個儀表堂堂，可唯獨小兒趙士揚，自幼跛腳，又因生天花落了個麻子臉，相貌甚是醜陋。因此趙員外常常為其前程歎息不已。可是趙士揚並沒有因自己腳殘貌醜而自暴自棄，卻人小志大，發奮讀書，決心要與父母和鄉里爭光。
功夫不負有心人。這年童試，他果然中了秀才。開榜那天，新秀才都在縣衙聚會。知縣很瞧不起趙士揚，鄙視地說道：「如此醜陋之人，竟中了秀才，真算他走了運。」
三年之後，府試考舉，趙士揚又到縣考院報名，準備參加生員初試。因為在當時，生員只有在初試合格之後，方能參加秋闈考舉。這天趙士揚看罷自己初選得中的榜示之後，正在暗暗自喜，躊躇滿志的當兒，恰巧知縣正和生員考官在榜前閒聊。知縣看到洋洋得意的趙士揚，冷嘲熱諷地說道：「你瞧這麻臉的趙小瘸子，考個秀才就滿不錯了，他竟還要考舉人、中狀元，真是野心不小。」趙士揚聽他如此小看自己，心中十分氣惱，隨即說道：「考舉人全憑才學，你怎麼能以貌取人，如若我能考上舉人，你又怎樣？」知縣見趙士揚如此頂撞自己，更加卑睨地冷笑了一聲說道：「你若能中舉人，我搭天橋立牌坊，紅氈鋪地，頭頂香盤，跪接你到北門以外。」趙士揚聽了，強壓怒火，大聲說道：「紅口白牙，堂堂父母，咱要一言為定，」說罷揚長而去。
俗話說：人爭一口氣，佛爭一爐香。趙士揚為了回敬縣官的蔑視，更激發了他勤奮好學的精神，沒黑沒白地苦讀不懈。所以對趙士揚來說，受嘲諷的壞事，反而變成了好事。
不久，考期到了。在應考這天，眾多的舉子，一早就等在考院門口，可考院的大門卻遲遲不開。一些放蕩不羈的官宦、豪富子弟，等得實在不耐煩了，紛紛要薦舉大膽之人叫門；可此事非同一般，結果你推我讓，誰也不敢妄此一舉。這時，一個叫孫尚清的富家子弟，忽然瞥見在一旁靜候的趙士揚，便頓時起了戲弄之心。他大聲喊道：「聽說這趙瘸子很有膽量，我們何不讓他來打頭陣！」經他這一煽動，馬上得到一些舉子的響應，把趙士揚一下擁搡到考院門口。趙士揚深知此事之後果，所以他竭盡全力掙脫，而擁推者勢眾，加上他們又喊著號子，一齊往前擁搡，結果使趙士揚的腦袋彭彭地碰撞在考院的大門上。
考院大人，這時帶著監考官們正欲開門，忽聽門外喧鬧不止，撞門有聲，心裡十分惱怒。他們把大門猛一打開，推搡趙士揚的人，全部驚散了。趙士揚由於難以留步，卻「哎喲」一聲，一下撲倒在門裡。考院大人怒氣沖沖的斥責趙士揚道：「考院系肅穆之地，你們身為趕考的舉子，帶頭砸撞考院大門是何道理？」趙士揚從地上掙扎起來，正欲答辯，忽然入場的銅鈴搖響了。趙士揚見考院大人拂袖而去，也只好強壓冤屈，隨大家魚貫入場。一到考場，趙士揚方才受辱之事全忘，便集中全力投入了應考。真是工夫不負有心人，他才學滿腹，筆下生風，一氣呵成，竟交了個頭卷。考院大人見交了頭卷的真是方才擾鬧考院的舉子，心中仍餘怒未消，心想，如此狂蕩之徒，焉能寫出好的文章，不過來湊數罷了。正欲把他的卷子扔擲一旁，又拿起一看，文墨竟如此遒勁，秀麗；驚異之下，他又細觀其文，不禁拍案叫絕，真乃少見的文才。
這考院大人，頓時忘卻了趙士揚擾鬧考院的不悅之事，一等考場事畢，回到住所，便立即召見了趙士揚。
再說趙士揚出了考場，回到旅店，正在心神不定的想著今天的不悅之事，忽聽考院大人傳見，不禁暗吃一驚，心想，這下完了，考院大人一定是要追究我擾鬧考院之罪了。他憂心忡忡地來到考院大人住處，施禮待立一旁，就只等考院大人發落了。考院大人見趙士揚不但文才出眾，且舉止穩重，說道：「我看你不像輕浮子弟，為何在考院門外肆意攪鬧？」趙士揚忙跪地分辯道：「晚生冤枉呀！」接著便把被人戲弄之事講述了一遍。考院大人聽後，疑竇頓解，含笑說道：「原來如此，這些紈褲子弟，實在可惡，竟專意來嘲弄和戲耍你這有缺陷之人，真是憂傷風化。」
趙士揚接著說：「卑視我缺陷之人者何止他們，連我縣知縣大人，也無不在以貌取人呢？」
考院大人道：「何以見得？」趙士揚便把與知縣打賭一節，又詳述了一遍。
考院大人沉思了一霎，說道：「你那知縣原是我親點的舉人，想不到他也如此輕視於你；古人言，種瓜得瓜，種豆得豆。你且回去等候，本官會秉公而判。」
考院大人一一閱過考卷，確認趙士揚的文章為眾舉之首，遂提筆批曰：「其貌雖不揚，可文為奇苑。」被點為頭名舉人。
喜報送至客棧，趙士揚這天換了官服，前來辭別考院大人。考院大人隨即修書一封，讓其帶交堂邑縣令，大意是：「人豈可貌相，海水焉能斗量。包拯其貌雖不揚，可文能治國。為官當謙；輕狂寒賢，以貌取人，堪受打賭輸牌坊之罪。」
堂邑縣令見趙士揚果然中了舉人，又接到恩師親筆書信，後悔莫及，不得不照此辦理，兌現其諾言。遂傾其積蓄，選精石良匠，時經年餘，於堂邑北門裡，修成了一座甚為氣派的石碑牌坊，並在牌坊正中鐫刻了「王子科舉人趙士揚」八個大字。