半夏小說

半島遠行_第212章 出人意料地大模型2(1)

關燈

很快就發現了問題的所在。自我演化程序基本沒有變化,但是甲骨文識讀的程序有一個地方發生了了很大的變化。

最初班行遠設計的識讀程序包含了一個有100萬個參數的模型,這個模型也是識讀功能的核心所在。在最新的版本中這個模型的規模已經膨脹到讓班行遠咋舌的10億個參數。

班行遠把所有歷史版本的代碼調出來,發現這個識讀程序的演化過程就是模型規模越來越大的過程。雖然也有不規模變小的版本迭代,但是很快就又向著規模越來越大的方向發展。

稍一思考就明白了是怎麼回事。模型的規模大的話,包含的資料就多,就更能生準確率高的報告。演化程序其實不知道規模大好還是規模小好。在最開始的階段把規模調大後程序據小組的反饋判斷出這樣效率更高,於是就開始向模型規模越來越大的方向發展。

大到一定程度後程序判斷單次報告的生時間有較大增加,默認效率降低就自主降低模型的規模。模型變小後生速度快了,但是準確率有了更大的下降,演化程序判斷還是規模大的模型效率更高。於是又一次朝向大規模模型演化。就這樣周而復始,在演化的過程中程序確認大模型更有效,於是模型的規模以指數的形式變大。

模型變大後對算力需求以更快的速度變大,只不過在最初的階段並不明顯。當模型的規模超過一定閾值的時候,報告的準確也隨着提高,哪怕是生速度已經很慢了,演化程序仍然沒有調小規模,因為綜合效率仍然更高。

10億參數規模的模型,班行遠有些頭疼。想了一下把兩個人工智能項目組的人都了過來,他要把甲骨文人工識別的程序移植到蛋白質機構預測的計算中心上。

兩個項目都用到了研究院設計的加速卡,只不過甲骨文這邊的規模小得多,算力和蛋白質那邊比的話本不值一提。查了一下後台,沒有三方單位使用算力,班行遠立刻讓項目組員暫停了所有的計算任務,讓他們把甲骨文識讀程序切換到計算中心。

程序在計算中心運行後,班行遠並沒有讓程序開始計算,而是把西方各種文字的字典和語言學資料餵給程序,程序很快就消化完畢。班行遠暗贊,算力強大就是不一樣。

隨後在兩個項目組不解的眼神中班行遠問出了問題:“請告訴我英文單詞you的起源與演變。”

這些計算機專家看着大屏幕上滾出來的文字一個個張大的

“嗯,用戶之前問了中文“公”字的起源和演變,現在又轉向英文單詞“you”的起源和演變。看來他對語言的歷史發展很興趣,可能在學習語言學或者對詞源學有好奇心。我需要先確認用戶的需求……”

uoy

11-5