1871年，盧瑟福誕生在新西蘭的一個農村。他家人口很多，盧瑟福從小一邊上學一邊幫著家裡幹農活。
少年時的盧瑟福是個很愛動腦筋的孩子，尤其喜歡自己動手做些小玩意。他曾經「發明」了一種可以發射「遠射程炮彈」的玩具火炮，還巧妙地設計出增加炮擊距離的方法。有一次，家裡的大鐘壞了，盧瑟福便動手把鍾拆開來，他的兄弟姐妹都認為一定會受到父母的責罰，但盧瑟福竟把鍾修好了，而且以後還走得很準。後來，他還自製了一架照相機，自己拍攝，自己沖洗，成了個攝影迷。
24歲時，盧瑟福獲得一筆獎學金，來到英國劍橋大學凱文迪許實驗室進行深造。從此，他開始了在英國的科學研究生活。37歲那年，由於他對於放射性現象研究的傑出成就，他獲得了諾貝爾化學獎。但他並沒有滿足，決心對原子進行更深入的探索。
早在古希臘時代，就有人提出，自然界天地萬物是由原子構成的。長期以來，人們一直認為原子是物質最小的單位，是不可分割的，它的形狀像個實心小球。而此時隨著科學的發展，一些科學家認識到原子內部還有著更小的單位，盧瑟福的老師湯姆遜就持這一種觀點。他們認為，原子的模樣像西瓜，瓜瓣就像是原子內均勻分佈的正電荷，而瓜子就是電子。「原子果真像老師所說的那樣嗎？「盧瑟福想通過實驗來探究一下自己一直思索的這個問題。
他想，如果原子果真像個西瓜，那麼，如果用比原子更小的粒子作「炮彈」來轟擊它，就一定很容易地穿過它而筆直地前進。於是，他決定用一種叫做「a「的粒子做「炮彈」，來轟擊原子，看看會發生什麼情況。
然而，要做這個實驗並不是一件容易的事。除了要設計一套專門儀器外，實驗本身就像是用機關鎗掃射幾個散落在茫茫草原中的小核桃一樣的困難。
在年輕的助手和幾個學生幫助下，盧瑟福終於設計出了一個試驗裝置：
一個「a」射線的放射源，就像一挺機關鎗，一個金屬箔作靶子，就像放核桃的草地，在它的旁邊放一個硫化鋅的螢光屏，屏後安裝一架顯微鏡，來觀察實驗的情況。
實驗開始了，發射源發射出的「a」粒子「炮彈」，以每秒2000米的速度穿過金屬箔，在漆黑的實驗室裡，螢光屏上出現了點點閃光。
「這是怎麼會事呢？」學生們問道。
「這說明絕大多數a粒子穿過金屬靶子飛走了，只有個別a粒子被彈了回來。」盧瑟福說。
可這意味著什麼呢？盧瑟福陷入了沉思。
實驗使盧瑟福感到驚歎，他開始了連續不停的實驗和思考，像著了魔一樣整日整夜地呆在實驗室裡。管理實驗大樓的工友搞不清他是否離開過，他的妻子兒女也難得見他一面。一天清晨，盧瑟福興沖沖地衝進了辦公室，對著正在整理東西的助手，大聲地說道：
「我知道了，我知道了。原子到底是什麼樣子我知道了。」略一停頓，他又說：「它大致可以設想為一個小的太陽系。」助手怔怔地看著他，聳了聳肩說：
「什麼？您是說我們在一個看不見的世界裡當了普羅米修斯嗎？——普羅米修斯是希臘神話中為人類送來火種的神。「是的，就像是太陽系。」盧瑟福繼續解釋到，「原子既不是像小實心球，也不像西瓜，它的中心有個小的、帶陽電的核，而帶陰電的電子在圍繞著這個核飛轉。這就如同：原子核是太陽，電子就像行星，繞著太陽轉……
「那麼，a粒子被彈回來的現象怎麼解釋呢？」助手問他。「這是因為原子內部大部分是空隙，所以比原子更小的粒子能很容易穿過；又因為當中有個核，a粒子碰上這個堅硬的核就會被彈了回來。
盧瑟福終於打開了原子神秘之宮的大門！他的這一嶄新的原子結構理論，具有劃時代的意義。從此，原子學和原子核物理學便誕生並發展起來。
1919年，盧瑟福用人為的方法第一次分裂了原子，他用a粒子轟擊氮原子，使它變成了一個氧原子和一個氫原子。1926年，在他的指導下，兩個年輕研究人員瓦耳順和科克拉夫特設計出了一架巨型原子搗碎機，用這架儀器，他們把輕金屬鋰轉變為氦。
一時間，報紙新聞把這一消息迅速傳遍了全球。
一些人們驚慌地說：「原子分裂了，世界是否已經到了末日？」「人工可以製造黃金了，貨幣就要貶值！」
但是，科學家們清醒地預感到：世界迎來了一個新的時代——原子時代。
1933年，62歲的盧瑟福仍在不知疲倦地進行著研究工作。就在這一年，他又發現和命名了質子——氫原子核，並預言核內存在著中子。
由於他卓越的成就和影響，多種榮譽和獎賞不斷向他湧來。英國皇家學會授予他最高獎章——科柏萊獎章。幾十所大學和科學團體爭相授予他榮譽學位和學籍。在巨大的榮譽面前，盧瑟福仍然保持著謙虛的態度，從不誇耀自己的成績。1937年10月，盧瑟福由於長期緊張地工作，積勞成疾，在英國劍橋醫院與世長辭。
為紀念這位傑出的科學家，英國皇家學會在一所實驗室門前，為他雕塑了一座半身銅像。每年都有很多人來到他的墓碑前，向這位揭開原子秘密的先驅者表示深深的懷念與敬意。