古德裡安1888年6月17日生於東普魯士的一個軍人家庭，他的父親是一位陸軍軍官。古德裡安13歲進入軍官學校，1907年畢業後，被分配到一個輕步兵營任見習官，而這個營的營長就是他的父親。1913年10月，他與在漢羅福省駐防時相識的瑪加麗特哥爾尼小姐結婚。第一次世界大戰期間，他在騎兵部隊擔任指揮官和參謀。
1922年，他調到陸軍運輸處，開始確立機械化觀念。青年時代的古德裡安，就具有創造性的想像力，從不滿足於現有的戰術、技術和兵器。他經常在《軍事週刊》雜誌上發表探討當代軍事問題的文章，以至這個週刊的主編阿托克將軍經常訪問這位年青的軍官。他常常利用戰術演習和兵棋推演的機會，發表自己關於戰車將成為地面戰場主宰的新觀念。於是，古德裡安逐漸有了名氣。1931年，他出任摩托化部隊總監部的參謀長。1934年7月，德國組建了裝甲部隊，希特勒派古德裡安為裝甲兵總監。古德裡安系統地研究了第一次世界大戰時戰術方面的經驗教訓，特別是英國人利德爾·哈特和富勒的軍事理論，逐漸萌生了以機械化部隊為主體，各軍兵種密切協同的戰術思想，希特勒信奉的機動、攻擊、迅速的「閃擊戰」理論，也為古德裡安欣然接受。
裝甲兵總監這個職務，使古德裡安得到了把自己的戰略戰術思想付諸實踐的機會。1930年，德國的摩托化部隊只有幾輛陳舊的裝甲偵察車和幾個摩托車連。到1932年，參加演習的摩托化分隊還在使用模型坦克。古德裡安擔任裝甲兵總監後，德國裝甲兵得到了迅速的發展。希特勒非常欣賞古德裡安坦克戰的理論和實踐，他不僅在財力物力上優先滿足裝甲兵發展的需要，而且每當演習和試驗新坦克時，他都親臨現場。當他第一次參觀古德裡安組織的坦克群進攻演習時，面對排山倒海的鋼鐵洪流，他高興得手舞足蹈：「這正是我想要的東西！」1935年3月，希特勒徹底撕毀了凡爾賽條約，德國陸軍當年就把一個裝甲旅擴編為三個裝甲師，每個師有561輛戰車。古德裡安是其中的師長之一。
古德裡安的過人之處是他的戰術遠見。他設計的作戰形式就是坦克集群的高速進攻。1936年至1937年，他寫了一本名叫《注意——裝甲兵》的書，書中闡明了他以後在戰爭中運用的坦克戰術。1938年，希特勒任命古德裡安為機動部隊總監，統管裝甲部隊的一切組織和訓練事項。這一年，德國又試製成功了兩種新型坦克，這兩種坦克在策二次世界大戰中是德國裝甲部隊的基本裝備。同年，希特勒吞併奧地利時，古德裡安率兩個裝甲師打頭陣。儘管路上有些戰車因技術故障而拋錨，但還是在兩天之內前進了數百公里，創造了部隊機動速度的新記錄。從而顯示了裝甲部隊的優越性。
1939年，古德裡安任第19軍軍長。這個軍包括一個裝甲師和兩個摩托化步兵師，在閃擊波蘭的戰役中發揮了重要作用。他出色地執行了希特勒速戰速決的戰術原則，也使自己提倡的「閃擊戰」理論獲得了驚人的成功。古德裡安把他所在的「北方」集團軍群中的兩個裝甲師和兩個輕裝甲師集中起來使用，橫衝直撞，銳不可擋，強渡了那累夫河。9月14日，突破了布列斯特——裡托夫斯克的築壘地域，17日與「南方」集團軍群的前衛裝甲部隊在布格河畔的符沃達瓦會師。古德裡安像隆美爾一樣，從來不在後方指揮，他總是乘坐裝甲指揮車與先頭部隊一同前進，靠無線電同他的指揮機關和各師師長保持聯繫。有時由於前進速度過快，甚至進入己方的炮擊區而險遭厄運。
波蘭投降後，古德裡安又轉戰西線。他所在的19軍屬倫德施泰特指揮的「A」集團軍群。1940年5月，該軍作為在色當地區的攻擊主力，從法軍防線上打開一個缺口，5月13日就渡過馬斯河。一天之後，古德裡安坦克軍在色當以西和以南擴大了橋頭陣地，並擊退了法軍第三裝甲師的多次反擊。當時在他看來，只有兩件事可以阻止裝甲部隊的前進，即汽油耗盡和到達英吉利海峽。但是，德國最高統帥部包括希特勒在內都對裝甲部隊高速進攻獲得的巨大戰果感到驚疑，為防止法軍發動翼側反擊，急令各坦克部隊停止前進。對前線情況瞭如指掌的古德裡安及一些前線指揮官們認為，這無異於放棄奇襲，會喪失一切初步戰果。於是他們據理力爭，終於獲准作進一步的「強力偵察」，「擴大橋頭陣地」。古德裡安對這項命令加以靈活解釋，率領部隊沿索姆河一線神速前進。5月18日到達聖康坦，19日強渡索姆河，20日其前衛抵達阿布維爾和英吉利海峽，接著又由阿布維爾向北推進，22日佔領布倫。6月初，古德裡安被任命為第二集團軍司令，率領所部又取得了一連串的重大勝利。古德裡安和他的坦克兵拖著德國陸軍前進，創造了現代史上空前的勝利。
1941年6月28日，德國發動侵蘇戰爭，古德裡安指揮的裝甲兵團屬中央集團軍群，擔負了向莫斯科方向突擊的任務。戰爭初期，他們節節獲勝，10月份，曾攻到距莫斯科幾十公里的地方。但到12月初，由於冬季的來臨、蘇軍的英勇抵抗和德軍戰略目標分散等各種原因，進攻莫斯科之戰以失敗告終。12月6日，古德裡安被撤職，編入預備役，過了一年多閒散生活。1943年2月，希特勒在斯大林格勒遭到慘敗之後，又重新起用古德裡安，任命他為坦克兵總監，讓其負責裝甲部隊的發展、組織和訓練。在他任職期間，德國著名的虎式和豹式坦克投入生產並裝備部隊。
1944年7月，謀殺希特勒的事件敗露後，與此事無關的古德裡安出任德國陸軍總參謀長。但這時德軍的失敗已成定局，第三帝國大廈將傾，已是獨木難支。1945年3月底，希特勒免去了古德裡安總參謀長的職務，再次將其貶入預備役。5月10日，古德裡安被美軍俘虜。不久獲釋。
1954年，古德裡安病逝。這位坦克戰專家雖然到底沒有擠進元帥的行列，但他為法西斯德國稱雄一時所起的作用以及所負盛名，並不亞於納粹德國26位元帥中的任何人。他的肖像至今仍掛在德國的裝甲兵軍營中。