北京2024年10月13日 /美通社/ -- 近日，浪潮信息源(yuan)2.0開源(yuan)大模(mo)(mo)型(xing)與百度PaddleNLP完成(cheng)全面(mian)適(shi)配。用(yong)(yong)戶通(tong)過PaddleNLP，可快速調(diao)用(yong)(yong)源(yuan)2.0預訓(xun)練大模(mo)(mo)型(xing)，使用(yong)(yong)源(yuan)2.0在(zai)語義、數學、推理、代碼、知識(shi)等(deng)方面(mian)的推理能力，也可以使用(yong)(yong)特定領域的數據集對源(yuan)2.0 進行微(wei)調(diao)，訓(xun)練出適(shi)合自(zi)身業務需求的大模(mo)(mo)型(xing)。
大(da)語言模型(xing)的(de)快(kuai)速發(fa)展對訓練和推理技術帶來了更(geng)高的(de)要求，企業(ye)在大(da)模型(xing)開發(fa)過程往(wang)往(wang)面(mian)臨多種難題(ti)：如何實現高效訓練和推理，如何降低算力資(zi)源消耗，如何適配多種硬件……
PaddleNLP是百度基于飛槳框架打造的大語言模(mo)型(xing)套件(jian)，聚合(he)業(ye)界優質預訓(xun)練模(mo)型(xing)并提(ti)供開箱即(ji)用(yong)的開發體驗，覆蓋NLP多場景(jing)的模(mo)型(xing)庫，搭配產業(ye)實踐范例，提(ti)供極致(zhi)的訓(xun)練與推(tui)理性能，可滿足靈活定制的開發需求。
源2.0系(xi)列基礎大模型是首個全面開源的(de)(de)千億參數模型，包括1026億、518億、21億三種參數規模的(de)(de)模型，在(zai)對話問答(da)、編程、邏輯推(tui)理等方面展示出了領先的(de)(de)能力(li)。
此次適(shi)配(pei)標志源(yuan)(yuan)2.0大(da)模(mo)型(xing)遷(qian)移到飛槳(jiang)生(sheng)態中(zhong)，豐富了PaddleNLP的大(da)模(mo)型(xing)庫，方便用(yong)戶在(zai)PaddleNLP內快(kuai)速使(shi)用(yong)源(yuan)(yuan)2.0大(da)模(mo)型(xing)的能(neng)力(li)，并(bing)(bing)能(neng)使(shi)用(yong)特定領域的數據(ju)集(ji)做微(wei)調，利用(yong)相對較少的資源(yuan)(yuan)就能(neng)訓練(lian)出(chu)更適(shi)合實際應用(yong)場景的大(da)模(mo)型(xing)。源(yuan)(yuan)2.0基于PaddleNLP內置的預訓練(lian)-微(wei)調-推理(li)全流程，支持大(da)模(mo)型(xing)數據(ju)并(bing)(bing)行、數據(ju)分組(zu)切片(pian)并(bing)(bing)行和模(mo)型(xing)并(bing)(bing)行，提供高(gao)性(xing)能(neng)分布式訓練(lian)與推理(li)技(ji)術(shu)，同時無需修改即(ji)可適(shi)配(pei)多種硬(ying)件，從而給用(yong)戶帶來開(kai)箱即(ji)用(yong)的開(kai)發體(ti)驗，實現高(gao)效(xiao)訓練(lian)和推理(li)。
在(zai)微(wei)(wei)調階段，利用(yong)PaddleNLP中Zero Padding零填(tian)充數據流優化(hua)技術，通過分組貪(tan)心的(de)數據填(tian)充策略，可(ke)最大程度(du)消除無效填(tian)充的(de)比例。通過上(shang)述優化(hua)，相(xiang)比LLaMA-Factory，PaddleNLP在(zai)SFT（Supervised Fine-Tuning，監督微(wei)(wei)調）環節性能提升，可(ke)以更快訓練出適(shi)合客戶應用(yong)場景的(de)專屬(shu)源2.0大模型。
基于PaddleNLP實現源2.0大模型的步驟
Step 1 環境構建，安(an)裝飛槳框架的軟(ruan)硬件環境
Step 2 拉取源(yuan)2.0權重
Step 3 測試
使用PaddleNLP與源2.0的交互示例
用戶(hu)在(zai)PaddleNLP平(ping)臺上(shang)可以快速(su)使用源(yuan)2.0的(de)推(tui)理(li)(li)能(neng)力，特別(bie)是(shi)使用源(yuan)2.0進(jin)行(xing)(xing)張(zhang)量并(bing)行(xing)(xing)推(tui)理(li)(li)時。在(zai)Torch平(ping)臺上(shang)，源(yuan)2.0使用transformers直接進(jin)行(xing)(xing)推(tui)理(li)(li)，是(shi)默認(ren)使用流(liu)水線并(bing)行(xing)(xing)推(tui)理(li)(li)的(de)，計(ji)算流(liu)只(zhi)有(you)一條，因(yin)此推(tui)理(li)(li)性能(neng)相較于張(zhang)量并(bing)行(xing)(xing)較慢(man)。如果想(xiang)使用張(zhang)量并(bing)行(xing)(xing)，需要用戶(hu)自己編(bian)寫代碼按照并(bing)行(xing)(xing)數量提前對權重進(jin)行(xing)(xing)轉換，而(er)這又需要用戶(hu)對模型(xing)和框架比較熟悉(xi)。但(dan)在(zai)PaddleNLP平(ping)臺上(shang)，用戶(hu)無需提前處理(li)(li)權重即可一鍵啟動張(zhang)量并(bing)行(xing)(xing)推(tui)理(li)(li)，上(shang)手門檻低(di)。
以下是(shi)使用PaddleNLP與源2.0的(de)交互(hu)示例。
1.代碼生成
問題(ti)：使(shi)用java實現冒泡排序算法
回(hui)答：冒泡排序(xu)是(shi)一種簡單但效率較低的(de)排序(xu)算(suan)法，它(ta)通過比較相鄰的(de)兩個元(yuan)素，并交換(huan)它(ta)們(men)的(de)位置，從而逐步將最(zui)大(da)的(de)元(yuan)素移動到列表的(de)末尾。
下面是使用java實現冒泡(pao)排序算法的代碼：
在這個(ge)代碼中，int[]arr是輸入的整(zheng)數(shu)數(shu)組，n是數(shu)組的長度。函數(shu)bubbleSort接(jie)受(shou)一(yi)個(ge)整(zheng)數(shu)數(shu)組作為參數(shu)，并(bing)返回排序后的數(shu)組。
使用(yong)上述代(dai)碼，你可以調用(yong)bubbleSort函數對數組[5,3,8, 2,1,6,4]進行(xing)排序。排序后(hou)的結果為[1,2,3,4,5,6,8]。
2.文章生成
問題：寫一篇(pian)題為AI帶(dai)給了(le)人類什么的文章。
回答：人工(gong)智(zhi)(zhi)能(neng)(AI)是(shi)一種技(ji)術，它可以(yi)讓計算(suan)機像人類(lei)一樣思考和行動(dong)。AI技(ji)術已經(jing)廣泛(fan)應用于各(ge)個(ge)領域，包括醫(yi)療(liao)、金融、交通、教育、娛樂等等。AI技(ji)術可以(yi)幫(bang)助我(wo)們解決許多(duo)問題，例如自(zi)動(dong)駕駛(shi)、語音識(shi)別(bie)、圖(tu)像識(shi)別(bie)、自(zi)然語言處理等等。AI技(ji)術還(huan)可以(yi)幫(bang)助我(wo)們提高工(gong)作效率，例如自(zi)動(dong)化(hua)生產(chan)線、智(zhi)(zhi)能(neng)客(ke)服等等。AI技(ji)術還(huan)可以(yi)幫(bang)助我(wo)們更好地了(le)解世界(jie)，例如通過AI技(ji)術可以(yi)更好地預測天氣、分析市場趨勢等等。總之(zhi)，AI技(ji)術已經(jing)成(cheng)為(wei)了(le)我(wo)們生活(huo)中不(bu)可或缺的一部分。
3.翻譯
問題：將下(xia)面的文字(zi)翻譯成(cheng)中文：But with the passage of time, Hemingway has reached middle age,and his energy and creativity have also declined. In Hemingway's inner world, he was very upset, but he never lost hope and confidence.
回答：然而隨著時間的推移，海明威已經步入(ru)中(zhong)年(nian)，他(ta)的精(jing)力和(he)創造(zao)力也不斷下降，但(dan)他(ta)的內(nei)心(xin)卻非常(chang)不安，但(dan)他(ta)從未失去希(xi)望和(he)信(xin)心(xin)。
4.對話
問題(ti)：目前最先進的機器(qi)學習算法有哪些(xie)?
回答：當前最先進的機器(qi)學(xue)習算法包括以下(xia)幾種：
1. 卷積神經網(wang)絡(luo)(Convolutional Neural Networks,CNN):CNN是(shi)近年來在圖像(xiang)處(chu)理領域中非常成功的一種算(suan)法， 可以(yi)用于(yu)圖像(xiang)分類、目標檢(jian)測、圖像(xiang)分割等任(ren)務。
2. 循環(huan)神經網絡(Recurrent Neural Networks,RNN):RNN常(chang)常(chang)用于(yu)序列數據處(chu)理(li)，例如自(zi)然語言處(chu)理(li)、語音識別、機(ji)器翻譯等(deng)任務。其中，長短時記憶網絡(Long Short-Term Memory,LSTM)和門控(kong)循環(huan)單元(Gated Recurrent Unit,GRU)是(shi)兩種常(chang)用的RNN變體。
3. 自(zi)編碼器(AutoEncoder,AE): AE是(shi)無(wu)監督學(xue)習(xi)中一(yi)種重(zhong)要的(de)算(suan)法，目(mu)標是(shi)學(xue)習(xi)一(yi)種壓(ya)(ya)(ya)縮表示形式(shi)，能夠把輸入壓(ya)(ya)(ya)縮到較(jiao)小的(de)范圍。目(mu)前應用(yong)于(yu)信(xin)號處理(li)、圖像壓(ya)(ya)(ya)縮、數(shu)據壓(ya)(ya)(ya)縮等(deng)領域。
4. 對抗生(sheng)成(cheng)網(wang)絡(Generative Adversarial Networks,GAN):GAN是(shi)由(you)兩個(ge)(ge)神(shen)經網(wang)絡組成(cheng)的(de)(de)對抗模型(xing)，一個(ge)(ge)生(sheng)成(cheng)器(qi)網(wang)絡用于(yu)生(sheng)成(cheng)新(xin)的(de)(de)數據，另一個(ge)(ge)判別器(qi)網(wang)絡用于(yu)判別生(sheng)成(cheng)的(de)(de)數據是(shi)否真實，引導生(sheng)成(cheng)器(qi)學習(xi)生(sheng)成(cheng)新(xin)的(de)(de)數據。GAN廣泛應用于(yu)圖像生(sheng)成(cheng)、視頻生(sheng)成(cheng)等場景中。
5. 遷(qian)移學習(Transfer Learning):將(jiang)過去在訓(xun)練集上訓(xun)練而得到的知識應用到新任務中(zhong)，可(ke)以加速模型的 訓(xun)練和提高效果。
總之，當前(qian)最(zui)先進的(de)機(ji)器學習算法包括卷積神(shen)經網(wang)絡(luo)(CNN)、循環神(shen)經網(wang)絡(luo)(RNN)、自編(bian)碼器(AE)、對抗生(sheng)成網(wang)絡(luo)(GAN)等。在不同的(de)應(ying)用(yong)場(chang)景中，需要(yao)根據任務特點選擇適(shi)合的(de)算法，并進行實驗和評估來驗證其(qi)有(you)效性(xing)。
使用PaddleNLP對源2.0進行訓練
如果需要(yao)基于源2.0從(cong)頭進行(xing)訓(xun)練，可以參(can)考預(yu)訓(xun)練部分(fen)；如果需要(yao)基于源2.0大模型，對特定(ding)的(de)功(gong)能進行(xing)"優化"，可以參(can)考微調部分(fen)，使用(yong)(yong)特定(ding)領域的(de)數據集做微調，利用(yong)(yong)相對較少的(de)資源就能訓(xun)練出(chu)更適合實(shi)際應(ying)用(yong)(yong)場景的(de)大模型。
1.預訓練
以(yi)源2.0-51B模型為例，輸出如下：
Loss曲線(xian)如下，可(ke)收(shou)斂。用(yong)戶可(ke)以基于源2.0的(de)模型(xing)結(jie)構，使用(yong)自己的(de)數據集從頭進行預(yu)訓練，生成專屬基礎大模型(xing)。
2.微調
以(yi)源2.0-51B模型進行Lora微(wei)調為例，輸出如下：
Loss曲線(xian)如下，可收斂。用戶可使用特定數據集對(dui)源2.0進(jin)行(xing)微(wei)調，訓練出(chu)更(geng)適合自身業務需求的大(da)模型。
