首頁 > 收藏

僅需幾天,簡約神經網路更快地發現物理定律

作者:由 ScienceAI 發表于 收藏日期:2023-01-28

德拜溫度有什麼物理意義

編輯/綠蘿

科學家可能需要幾十年的時間來確定物理定律,從重力如何影響物體,到為什麼能量不能被創造或破壞。

美國普渡大學(Purdue University)的研究人員提出簡約神經網路(parsimonious neural networks,PNN),將神經網路與進化最佳化相結合,以找到平衡精度與簡約的模型,可將物理定律發現的時間縮短到幾天。該研究是使用機器學習從資料中發現物理定律的首批演示之一,該工具可透過 nanoHUB 線上獲取。

該研究以「

Parsimonious neural networks learn interpretable physical laws

」為題,發表在《

Scientific Reports

》上。

僅需幾天,簡約神經網路更快地發現物理定律

機器學習(ML)在物理科學中發揮著越來越重要的作用,並且在將領域知識嵌入模型方面取得了重大進展。

在物理科學中使用 ML 的主要缺點之一是,模型通常無法學習「手頭」系統的基本物理特性,例如約束或對稱性,從而限制了它們的泛化能力。此外,大多數 ML 模型缺乏可解釋性。在許多領域,這些限制可以透過大量資料得到補償,但在材料科學等領域,獲取資料既昂貴又耗時,這通常是不可能的。

為了應對這一挑戰,在使用基礎物理學知識來提高模型的準確性和/或減少訓練期間所需的資料量方面取得了進展。

較少探索的是使用 ML 進行科學發現,即從觀測資料中提取物理定律。

在這裡,研究人員提出簡約神經網路 (PNN),將神經網路與進化最佳化相結合,以找到平衡準確性和簡約性的模型。

僅需幾天,簡約神經網路更快地發現物理定律

以神經網路為起點,找到簡約神經網路作為以儘可能最簡單的方式解釋資料的網路。

透過開發經典力學模型並從基本特性預測材料的熔化溫度,證明了該方法的強大功能和多功能性。

兩個例子

作為第一個例子,考慮在有和沒有摩擦的外部 Lennard Jones (LJ) 勢下粒子的動力學。

前饋神經網路(FFNN)能夠很好地匹配訓練/驗證/測試資料,然而,該網路的預測能力很差。且這些 FFNN 是不可解釋的。

在確定了 FFNN 的缺點之後,引入了簡約神經網路 (PNN)。從通用神經網路開始,並使用遺傳演算法找到具有可控簡約性的模型。神經網路由三個隱藏層和一個輸出層組成,輸出層有兩個值,粒子的位置和速度比輸入提前一個時間步。

起始神經網路提供了從輸入位置和速度到輸出位置和速度的高度靈活的對映,PNN 力求在再現訓練資料時平衡簡單性和準確性。在此示例中,考慮了四種可能的啟用函式:線性、線性整流函式 (relu)、雙曲正切 (tanh) 和指數線性單元 (elu)。

僅需幾天,簡約神經網路更快地發現物理定律

(a) 訓練/驗證/測試集上的 PNN 模型 1 RMSE 與前饋網路相比 (b) 我們看到 PNN1 和 verlet 積分器之間的能量守恆是可比的(TE:總能量)(c)前向 PNN1 生成的反向軌跡顯示出良好的可逆性 (d) 遺傳演算法發現的 PNN 模型 1 的視覺化,試圖提前一步預測位置和速度。

由 p = 1 的遺傳最佳化產生的 PNN 比架構複雜的 FFNN 更準確地再現訓練、驗證和測試資料。值得注意的是,最佳 PNN(PNN1)還具有出色的長期能量守恆和時間可逆性。PNN1 學習了時間可逆性和總能量是一個運動常數。這與物理不可知的 FFNN 甚至像一階尤拉積分這樣的基於物理的簡單模型形成鮮明對比。

在第二個例子中,PNN 學習經典力學,摩擦力與速度成正比,並基於位置 Verlet 方法發現相同的穩定積分器,全部來自觀測資料。

Verlet 風格積分器的出現來自資料顯著。由於其穩定性,該積分器系列是分子動力學模擬的首選。重要的是,研究人員發現了更復雜的模型,它們比 PNN1 更準確地再現資料,但不表現出時間可逆性,也不節約能量。這表明簡約對於學習可以深入瞭解「手頭」物理系統和通用性的模型至關重要。

最佳化熔化溫度定律

為了證明 PNN 的多功能性和通用性,研究人員將其應用於從實驗資料中發現熔化定律。目標是從基本的原子和晶體特性預測材料的熔化溫度。

為此,收集了 218 種材料(包括氧化物、金屬和其他單元素晶體)的實驗熔化溫度以及基本物理量。

僅需幾天,簡約神經網路更快地發現物理定律

PNN 發現的熔化定律。(紅點表示著名的林德曼定律,而藍點表示發現的其他模型。黑色虛線表示模型的帕累託前沿,其中一些模型比林德曼定律表現更好,同時也更簡單。樹模型被突出顯示和標記。)

PNN 模型代表了準確性和簡約性之間的各種權衡,從中我們可以定義最佳模型的帕累託前沿。PNN 方法找到了幾個簡單而準確的表示式。最簡單的非平凡關係由 PNN A 給出,它近似熔化溫度與德拜溫度成正比:

僅需幾天,簡約神經網路更快地發現物理定律

這在物理上是有意義的,因為德拜溫度與特徵原子振動頻率有關,而更硬和更牢固的鍵往往會導致更高的德拜溫度和熔化溫度。接下來是複雜性,PNN B 添加了與剪下模量成正比的校正:

僅需幾天,簡約神經網路更快地發現物理定律

這也是物理意義上的,因為剪下剛度與熔化密切相關。PNN 的複雜性略高於 PNN B,發現著名的林德曼熔化定律。

僅需幾天,簡約神經網路更快地發現物理定律

這裡 TD 是材料的德拜溫度,f 和 C 是經驗常數。值得注意的是,這條定律是在 1910 年使用物理直覺推匯出來的,它非常接近,但不是在精度-複雜度空間中的最優帕累託前沿。為了完整起見,描述了具有最低 RMS 誤差的模型,PNN C 預測熔化溫度為:

僅需幾天,簡約神經網路更快地發現物理定律

非常有趣的是,該模型將林德曼表示式與德拜溫度和體積(非剪下)模量相結合。考慮到上述表示式,這種組合並不令人驚訝,但此時體積與剪下模量的選擇尚不清楚,應進一步探索。

總之,研究人員提出了能夠從資料中學習可解釋物理模型的簡約神經網路;重要的是,它們可以提取當前問題的潛在對稱性,並提供物理洞察力。這是透過平衡精度與簡約來實現的,可調節引數用於控制這兩項的相對重要性並生成一系列帕累托最優模型。未來的工作應該探索其他複雜性度量。

論文連結:

https://www。nature。com/articles/s41598-021-92278-w

工具地址:

https://nanohub。org/resources/pnndemo

參考內容:

https://techxplore。com/news/2021-12-scientists-physical-laws-faster-machine。html