DeepMind發展用LLM解困難數學問題的方法

大型語言模型能幫忙做許多事情，DeepMind發展出一種稱為FunSearch的方法，利用大型語言模型搜尋數學和電腦科學領域問題的解法。研究人員目前成功運用FunSearch解決Cap Set數學問題，同時還可以更有效地解決裝箱問題，能夠用於提高資料中心效率等應用，而這也代表著FunSearch存在實用價值。

FunSearch的名稱指的是搜尋函式（Functions）的系統，FunSearch運作方式結合一個訓練過的大型語言模型，和一個自動評估器（Evaluator）。大型語言模型的目標，是提供創意的解決方案，而評估器則負責把關大型語言模型所提出的建議，避免出錯或是任何不實的想法。藉由這兩個元件反覆迭代，使得初始解決方案可以逐漸成熟最終成為新知識。

FunSearch使用Google的PaLM 2模型，但也能相容於其他支援程式碼編寫的大型語言模型。使用者需要先以程式碼的形式描述問題，包括評估程式的流程，以及初始程式碼池中的種子程式，而在每一次迭代，系統會從當前的程式池中挑選程式輸入大型語言模型，大型語言模型會在現有程式基礎上生成具創造性的新程式，交由評估器自動評估，表現最佳的程式會重新加入到程式池中，重新開始另一次迭代。

數學和電腦科學領域的難題都可以使用FunSearch解決，而組合數學（Combinatorics）是FunSearch特別擅長的領域。具體來說，FunSearch可以更好的解決極值組合數學問題，像是在高維度網格中尋找最大的點集合，也就是Cap Set的問題，這個問題無法使用暴力法解決，因為需要考慮的可能性太多，而FunSearch的效能優於目前最先進的計算求解器。

不過Cap Set畢竟是純數學問題，FunSearch的實用性還需要有更實際的應用驗證，而研究人員也成功使用FunSearch解決裝箱問題（Bin Packing Problem）。裝箱問題是將不同大小物品放進最少數量容器的問題，在許多實際場景都會派上用場，像是貨櫃裝載甚至是資料中心的計算任務分配等。

過去，裝箱問題的解法是基於人類經驗的演算法規則，也就是啟發式方法，像是「優先放置最大」等簡單的規則，雖然許多情況下，啟發式方法可以提供有效的解決方法，但是無法總是找到最佳解，要根據每個情況找到一套適用的規則也非常困難。

而FunSearch提供一種新的解決方案，能夠自動生成針對特定情況調整的程式，在使用更少的容器打包相同數量物品的問題上，超越現有的啟發式方法。研究人員提到，與其他神經網路和增強學習的人工智慧方法相比，FunSearch輸出程式碼易於檢查和部署，也就代表更容易被整合到實際工業系統中。

FunSearch的研究價值在於，只要有效防範大型語言模型的幻覺（Hallucination），則模型的創造能力便可以用來產生各種新的數學解法，解決現實世界的重要問題，研究人員預期，在科學和工業領域各種新舊問題，都會因為這個基於大型語言模型的方法，產生更加有效的解法。