「父母官」一詞來源於《禮記·大學》：「《詩》云：『樂只君子，民之父母。』民之所好好之，民之所惡惡之，此之謂民之父母。」《孟子·梁惠王上》：「為民父母，行政，不免於率獸而食人，惡在其為民之父母也？」在這些先秦文獻中「父母」是指百姓的統治者，甚至是國君。漢代曾出現了的兩個非常有政績的地方官：西漢的召信臣、東漢的杜詩。據《後漢書》載杜詩為南陽太守，深受百姓愛戴，百姓將之與前代的召信臣相比，於是就有了「前有召父，後有杜母」之說，這時「父母」一詞已經有了地方官的含義。宋初王禹偁《謫居感事》詩：「萬家呼父母。」其自註：「民間呼令為父母官」。這便是將地方官比作父母官的最早出處。
在封建社會，父母是子女的主宰，同時父母又最疼愛自己的子女，所以父母官就兼具了領導與愛護的兩種特點，一個好的地方官應該像愛護子女一樣愛護百姓，這就是「愛民如子」，當百姓的權力受到傷害時，官員理應加以維護，這就是「為民做主」。因此所謂的「父母官」其實是百姓的一種讚譽。同時這樣的父母官通常都是一些比較基層的官員，主要是州、縣等地方長官，因為他們直接與地方百姓接觸，同時又擁有生殺予奪的決定權。
除了上面的含義，在漢語的運用中「父母官」其實還有另一種用法，那就是指家鄉的地方官。古人為官起先是通過孝廉賢良方正等名目的舉薦，後來主要通過科舉考試，一旦成為朝廷的命官，出於避嫌的原因，常常是異地為官，這樣就離開了家鄉父老。而那些朝中的大官，除了本身祖籍就在京城的，大多數人父母都在地方，所以這些人對那些家鄉的官也稱之為「父母官」，這就是我們常說的「家鄉父母官」。當然，這樣的父母官也是地方官員，但範圍稍大，不僅限於地方行政首長。
「父母官」的兩種含義其適用的對象雖然接近——都是地方官，但用法卻是有講究的。前者是百姓對長官的稱謂，是對長官的一種敬畏和讚譽，而後者其實是朝中高官對比自己地位低得多的地方官的一種尊稱，也是一種自謙的表示，說家鄉的小官為「父母官」一來顯示自己沒有架子，尊重對方，二來縣官不如現管，也是希望對方對自己的父母有所照應。
父母官」的這兩種含義決定了它使用上的特殊性，比如：前一種含義的「父母官」應該是他稱，而不應該是自稱。目前有些文學作品或影視劇中常出現：「我作為家鄉的父母官……」云云，其實都是不恰當的用法。而作為後一種含義使用時需更加小心，因為這是高官對比自己官階小的地方官的稱謂，普通人是不能隨意使用的，比如在外地工作的普通工作人員見到家鄉的領導來了，如果也稱對方是自己的「家鄉父母官」，那他的口氣也太大了。