讀取存檔是什麼意思
作者丨維克多
Transformer的提出距離我們已經有5年的時間，隨著模型規模的不斷增長，效能提升也逐漸出現邊際效益遞減的情況。如何訓練出最優效能的大模型？
最近，DeepMind做了一項調查，想弄清AI語言模型的規模和token之間的關係。這個小組訓練了超過
400個
模型，規模從
7000萬
引數到
160億
引數不等，token數量從
50億
到
5000億
不等。
該小組發現，模型引數大小和token的數量成正相關，換句話說，
當模型規模加倍的時候，token也應該加倍。
1
如何得到這種關係？
目前確實是大模型時代，自從1750億引數的GPT-3橫空出世時，勾起了研究員的興趣。近兩年的時間，業界陸續推出了好幾個模型，且一個比一個大，並且在多數任務上獲得了令人令人深刻的效能。
但這種超越認知的效能表現，是以巨大的計算和能源消耗為代價，業界也一直在討論這種代價是否值得。
例如前谷歌研究員Timnit Gebru就曾撰寫論文討論“AI 語言模型是否太大以及科技公司在降低潛在風險方面做得是否足夠。”她也因為該論文被谷歌解僱。
大模型的訓練預算一般是提前計劃好的，畢竟訓練一次成本太大。因此，在給定預算的條件下，準確估計最佳模型超引數變得非常關鍵。之前，也有學者已經證明引數的數量和自迴歸語言模型（autoregressive language model）的效能之間存在冪律關係。
例如先前的研究表明，10倍計算預算對應增加5。5倍模型規模，以及1。8倍的token數量。但這項研究表明：模型大小和token的數量應該成等比例增長。
此外，研究員還預測，對於訓練Gopher（2800億個引數的語言模型），最佳模型應該小4倍，並且應該在大4倍的token上進行訓練。這一預測，在包含1。4萬億個token的 Chinchilla中的訓練得到驗證。Chincilla的效能優於Gopher，由於模型規模減小，推理成本也更低。
2
如何讓大模型更加高效？
大模型只有在大資料集上才能發揮最大的效力，同時，DeepMind也注意到，
處理大資料集時需要格外小心，訓練集和測試集的合理劃分，才能最小化語言建模損失以及最優賦能下游任務。
研究界必須考慮與此類大型模型相關的倫理和隱私問題。正如過去所討論：從網路上收集的大型資料集包含有毒的語言、偏見和私人資訊。
關於大模型如何更高效的問題，近日，清華大學劉知遠從模型架構層面也提出了看法《
清華劉知遠：大模型「十問」，尋找新正規化下的研究方向
》，他表示：
隨著大模型越變越大，對計算和儲存成本的消耗自然也越來越大。最近有人提出
GreenAI
的概念，即需要考慮計算能耗的情況來綜合設計和訓練人工智慧模型。面向這個問題，我們認為，
隨著模型變大，AI會越來越需要跟計算機系統進行結合，從而提出一個更高效面向大模型的支援體系。
一方面，我們需要去建設更加高效分散式訓練的演算法，在這方面國內外都有非常多的相關探索，包括國際上比較有名的DeepSpeed 以及悟道團隊在開發的一些加速演算法。
另一個方面，大模型一旦訓練好去使用時，模型的“大”會讓推理過程變得十分緩慢，因此另外一個前沿方向就是如何高效將模型進行儘可能的壓縮，在加速推理的同時保持它的效果。這方面的主要技術路線包括剪枝、蒸餾、量化等等。同時最近我們發現，大模型裡面具有非常強的稀疏發放的現象，這對於模型的高效壓縮和計算有著非常大的幫助，這方面需要一些專門演算法的支援。
雷峰網