五月二十四日，人們對AI的認知有著許多誤區和歧義，而像ChatGPT和GPT-4這樣的大型語言模型(LLM)卻在全球范圍內引起了極大的關注。這些功能強大的AI系統展現出迷人的魅力，但是，研究人員發現，很多人對它們的了解還只是皮毛。斯坦福大學的研究人員最近進行了一項研究，結果表明，大型語言模型(LLM)具備的一些能力可能被人們誤解了。他們發現，在選擇正確的指標來評估LLM時，其所謂的“涌現能力”會消失。 這項研究揭開了大型語言模型(LLM)神秘面紗，同時質疑了“規模是創造更好的大型語言模型唯一途徑”的觀點。事實上，已經有一些研究測試了大型語言模型(LLM)的涌現能力，該能力被定義為“在較小的模型中不存在，但在較大的模型中存在的能力”。簡單來說，機器學習模型在某些任務上表現隨意，直到其大小達到一定的閾值。然而，我們需要注意的是，只有在選擇正確的評估指標后，大型語言模型(LLM)才會表現出這種涌現能力；否則，它們只是一個普通的AI系統。如果你看圖1，將會發現LLM表現出的涌現能力，在一定范圍內，性能突然躍升，這進一步說明了該研究的重要性。

大型語言模型(LLM)的涌現能力一直備受矚目，研究表明在模型大小達到一定閾值之前，其完成任務的性能保持在隨機水平。然而，當模型規模變大時，它們的性能會躍升并開始提高。研究人員對LaMDA、GPT-3、Gopher、Chinchilla和PaLM等具有1000多億個參數的大型語言模型(LLM)的涌現能力進行了研究，并使用了多種測試來了解它們在處理復雜語言任務方面的局限性。這項新研究對大型語言模型(LLM)所謂的涌現能力提出了不同的看法，指出涌現能力的觀察可能是由于指標選擇引起的，而不是規模。他們發現，在衡量任務性能時，一些指標可能顯示出大規模的涌現能力，而另一些則顯示出持續的改進。實際上，LLM模型輸出的令牌逐漸接近正確的令牌，但由于最終答案與基本事實不同，它們都被歸類為不正確，直到它們達到所有標記都是正確的閾值。因此，如果對相同的輸出使用不同的指標，涌現能力就會消失，LLM模型的性能也會平衡提高。這項研究結果將進一步打破大型語言模型(LLM)神秘光環，同時也引發了人們對于“規模是創造更好的大型語言模型唯一途徑”的觀點的質疑。

研究人員最近發現，在某些情況下，大型語言模型(LLM)表現出的涌現能力可能是由于缺乏足夠的測試數據。他們通過創建更大的測試數據集來驗證這一點，并發現隨著測試數據量的增加，LLM模型的性能不再呈現出不穩定性。此外，研究人員還試圖將涌現能力應用于其他類型的深度神經網絡，如卷積神經網絡(CNN)，結果證明在使用非線性指標評估LLM模型性能時，同樣會觀察到涌現能力的出現。

這項研究得出的結論對于了解LLM性能至關重要，因為它們可以幫助我們更好地理解擴大LLM模型規模的影響。一些研究者認為規模是創造更好的LLM的唯一途徑，但這項研究表明，涌現能力可能是研究人員選擇的產物，而不是特定任務上模型的基本屬性。這個結論將有助于鼓勵研究人員探索創建更小的LLM的替代方案，并且還可以為實驗室投資訓練新LLM提供更好的技術衡量和預測改進，以更好地評估更大LLM模型的效益和風險。

盡管只有大型科技公司才能負擔得起訓練和測試大型LLM的成本，但規模較小的公司也可以對較小的模型進行研究。有了這些指標，他們將能夠更好地探索這些較小的LLM的功能，并找到新的研究方向來改進它們?？傊?，這項研究為我們提供了一個更加清晰的視角，幫助我們更好地了解LLM的性能，并激發了尋找創造更優秀LLM模型的替代方案的動力。