南京2022年11月7日 /美通社/ -- 11月(yue)3日南棲仙策通用智能(neng)決(jue)策2022發布(bu)會上(shang)，介紹了(le)強化學習(xi)工(gong)業(ye)軟件REVIVE的(de)新版本(ben)，更為驚艷的(de)是，還(huan)發布(bu)了(le)首個工(gong)業(ye)控制預(yu)(yu)訓練模型。可以預(yu)(yu)見到強化學習(xi)，這一曾(ceng)經在圍棋上(shang)戰勝人(ren)類的(de)AI技術，將為工(gong)業(ye)場景將帶來巨大(da)變革(ge)。
智能決策平臺REVIVE（Reinforcement learning with Virtualized Environment），能夠將少(shao)量歷史數據轉化為強大的(de)決策引擎(qing)。
"我們在多年的落地經驗中，吸取了非常多的教訓，我們相信這個版本，能夠帶來更加智能，準確，靈活，可信的智能決策結果。" 南棲仙策聯合創始人秦熔均這樣介紹。新發布的REVIVE更智能、更準確(que)、更靈活、更可(ke)信：
更加智能：新(xin)版(ban)本的(de)REVIVE SDK引入變(bian)量因果分(fen)析工具(ju)，將用戶從稠密的(de)數據和復雜交錯的(de)流程當中解(jie)脫出(chu)來(lai)，自(zi)動進行結構優化和推(tui)薦，幫助用戶輕松構建模型和進行虛擬環境的(de)訓練(lian)。
更加準確：正如(ru)人類在做決(jue)策時可以很快認知他所面(mian)臨的環(huan)(huan)境(jing)，REVIVE通過生成、自動識別并自動匹配不同(tong)環(huan)(huan)境(jing)和(he)最(zui)佳(jia)元策略(lve)模型(xing)，對(dui)最(zui)終的策略(lve)進行調優。針對(dui)實際(ji)環(huan)(huan)境(jing)，選擇出最(zui)適宜(yi)準確的決(jue)策。
更加靈活：在(zai)現實應用中往往會有(you)一些隱藏變(bian)(bian)量，新版REVIVE可以輕松(song)添加隱變(bian)(bian)量模(mo)塊，將缺失值(zhi)也(ye)納入(ru)考(kao)量。同時，新版本也(ye)更容(rong)易拆分出子模(mo)塊進行修(xiu)改和復用。
更加可信：REVIVE提供了決策的(de)樹狀可視化狀態，用(yong)戶(hu)可以主動和模型進(jin)行交互，看看做了不同改變(bian)會獲(huo)得(de)怎樣(yang)不同的(de)結果，嘗(chang)試不同決策，預(yu)見不同未(wei)來。
除了(le)面向通用決(jue)策場景(jing)的REVIVE SDK，本場發(fa)布會上最驚艷的內容，是面向工(gong)業(ye)反饋控制任(ren)務的決(jue)策預訓練模型。
通用反饋控制預訓練模型
反饋控制(zhi)任務廣泛存在(zai)于大量的(de)工業(ye)場景中。這類任務需要對實(shi)施過(guo)程中的(de)每一(yi)步所引(yin)起的(de)客觀效果(guo)進行感知和反饋，并據(ju)此做出控制(zhi)反應(ying)，調(diao)整下一(yi)步的(de)計劃決策和實(shi)施方(fang)案，在(zai)往(wang)復動態中達到控制(zhi)目標。
不(bu)同(tong)的場景之下，工程師們需要根(gen)據不(bu)同(tong)的場景和(he)環(huan)境去調整每一個(ge)控(kong)制參數(shu)，達到控(kong)制效果(guo)。如(ru)果(guo)能夠(gou)實現(xian)通用的反饋控(kong)制系(xi)統，將為(wei)工業(ye)應用帶(dai)來(lai)巨大變(bian)革。
要實現這項技術的關鍵核心在于，對不同(tong)任(ren)務(wu)(wu)的自動識別(bie)。只有當它識別(bie)了當前的任(ren)務(wu)(wu)是什么(me)，才能根據(ju)任(ren)務(wu)(wu)調整控制策(ce)略，以做(zuo)到(dao)對不同(tong)的任(ren)務(wu)(wu)都做(zuo)出最優的決策(ce)。
針對這個問題，南棲仙策推出了通用反饋控制系統識別器：GFSEncoder。它能夠(gou)輸(shu)出3維的(de)編碼，來(lai)識別(bie)和(he)表達不同反(fan)饋(kui)控制系統的(de)特(te)征和(he)變化。
作為神經(jing)網絡對系(xi)統的理解，GFSEncoder編碼的每一維不會(hui)(hui)直接對應到系(xi)統的物理參數，但是二者依(yi)然(ran)會(hui)(hui)存在一定(ding)聯系(xi)。
南棲仙策還額外發布了GFSEncoder Pro，將參數量提升50%以上。輸出的任務編碼維度從3維提升至8維，具有(you)更強大的任務識別和編(bian)碼能力。
在發布會上，南棲仙策以滑塊的控制為例，展示了特征編碼是如何隨著物理參數的變化而變化的。B站搜索南棲仙策 可(ke)以看(kan)到完整的(de)演示過程。
最(zui)后還需(xu)(xu)要(yao)強調(diao)的(de)是，GFSEncoder并不需(xu)(xu)要(yao)額外測量系統的(de)各種參數。
GFSEncoder下游應用
（一）系統變動預警
很多系統(tong)在(zai)長(chang)時間的運(yun)行后會發生老化(hua)或者損壞。通過比對GFSEncoder輸出(chu)的編碼可(ke)實時監控系統(tong)是否出(chu)現變(bian)化(hua)，預警系統(tong)失(shi)效(xiao)。
（二）系統標定
GFSEncoder還可以根據當(dang)前(qian)系(xi)統(tong)(tong)編碼(ma)與(yu)標(biao)(biao)準系(xi)統(tong)(tong)編碼(ma)的(de)差異來調(diao)整系(xi)統(tong)(tong)的(de)參數(shu)，使用戶不需要精(jing)密測量，就(jiu)可以將系(xi)統(tong)(tong)向標(biao)(biao)準系(xi)統(tong)(tong)校準。
（三）PID參數預測
在這個應用中，南棲仙策介紹了將要推出的第二個模型，PIDPredictor。
PIDPredictor也是一個深度神經網絡模型，能夠基于GFSEncoder編碼(ma)對相(xiang)應的最優PID參數(shu)進(jin)行預(yu)測。GFSEncoder與PIDPredictor相(xiang)結(jie)合，可以通過(guo)系(xi)統(tong)中的歷史軌跡信(xin)息得(de)到(dao)最優PID參數(shu)。
在展示當中，可(ke)以看出PIDPredictor所預測的(de)PID參數的(de)控制效果（右側）會比待整(zheng)定的(de)PID控制器好(hao)很多。B站搜索(suo)南棲(qi)仙策可(ke)以看到完整(zheng)的(de)演示過(guo)程。
（四）通用反饋任務控制
南棲仙策還將PID控(kong)制(zhi)器用神經網絡(luo)(luo)控(kong)制(zhi)器替代(dai)，推出了(le)通用反饋控(kong)制(zhi)器，GFSController。GFSController是使(shi)用強化學習訓練得到的通用控(kong)制(zhi)器，它由GFSEncoder與一個神經網絡(luo)(luo)控(kong)制(zhi)器組合(he)而成。
結合GFSEncoder對系統的快速編碼能力，GFSController可以做到部署即運行。
發布(bu)會以(yi)平衡(heng)車任務為例，進(jin)(jin)行(xing)了展示。在部署了GFSEncoder之(zhi)后(hou)，無(wu)需(xu)進(jin)(jin)行(xing)任何針對(dui)性的(de)調節，GFSController就能夠直接將平衡(heng)車控制在穩定的(de)狀(zhuang)態。
作為驗(yan)證，南(nan)棲仙(xian)策(ce)將(jiang)GFSController部(bu)署至無人機高度控制任務(wu)中。作為對比，南(nan)棲仙(xian)策(ce)還引入(ru)了一(yi)個調(diao)好的二階(jie)PID完成同樣的任務(wu)，可(ke)以(yi)看出(chu)，GFSController與一(yi)個調(diao)好的PID控制器表現出(chu)了相(xiang)當的水平。
為了(le)測試GFSController通用性(xing)，發布會上，南棲仙策對更多的衍(yan)生場景進行(xing)了(le)假設和模擬：如果有一天(tian)人類登陸火(huo)星或是在高(gao)空飛行(xing)，這個無人機能否適應新的環(huan)境變化？
GFSController很快就完成了(le)對新(xin)系統的(de)識別，其超(chao)(chao)調已經明顯降低，然(ran)而PID控制(zhi)器的(de)超(chao)(chao)調依(yi)然(ran)很嚴(yan)重，以致于最后無人機撞擊到(dao)地(di)面并(bing)損毀(hui)。B站搜索南棲(qi)仙策可以看(kan)到(dao)完整的(de)演示過程。
需要注意(yi)的(de)(de)是(shi)，這里(li)的(de)(de)PID控(kong)(kong)制(zhi)(zhi)(zhi)器(qi)是(shi)一個二階級(ji)聯的(de)(de)PID控(kong)(kong)制(zhi)(zhi)(zhi)器(qi)。而GFSController則是(shi)一階控(kong)(kong)制(zhi)(zhi)(zhi)的(de)(de)。事(shi)實(shi)上，GFSController也(ye)能夠通過級(ji)聯來提升控(kong)(kong)制(zhi)(zhi)(zhi)效(xiao)果。這意(yi)味著GFSController除了(le)通用(yong)性之外，還具有強大的(de)(de)拓(tuo)展(zhan)性。
南(nan)棲仙策已經將GFSEncoder的相關(guan)的模(mo)型(xing)發布到了(le)REVIVE官網(wang)。 歡迎大家下載(zai)體驗。
