此成語就是出自劉時中的《端正好.上高監司.既官府甚清明套.十二月》曲：“不是我論黃數黑，怎禁他惡紫奪朱?爭奈何人心不古，出落著馬牛襟裾。”
劉時中即為著名曲家之一。元順帝天歷二年，江西大旱，劉時中見到災民受難的情況，於是作了兩套散曲《端正好》，上呈江西道廉訪使高納麟。
第一套的內容陳述饑荒時「谷不登，麥不長」，民無以食的悲慘遭遇，而且憤怒地斥責了奸商富豪趁火打劫的罪行，展現元代社會嚴重的階級壓搾。
第二套則是揭露官吏的無能與違法亂紀。他形容一群暴發戶般的官員為「沒見識街市匹夫」，彼此狼狽為奸，勾結作惡，盡日將精力耗費在吃喝嫖賭，完全不顧百姓生計。並申辯說：「不是我要講他們的壞話，但怎麼能眼睜睜地看著邪惡戰勝正義?根本完全喪失了舊時代的淳樸，明明是人，但行事卻如禽獸一般。」
後來，人心不古演變為成語，用來感歎失去古人的忠厚淳樸。