深圳2022年9月16日 /美通社/ -- 針對聯邦學習全局模型的版權保護問題，微眾銀行AI團隊聯合上海交通大學在人工智能學術期刊《IEEE模(mo)式(shi)分(fen)析(xi)與(yu)機(ji)器智(zhi)能(neng)匯刊》（IEEE T-PAMI，IEEE Transactions on Pattern Analysis and Machine Intelligence，涉(she)及(ji)人(ren)工智(zhi)能(neng)、計算機(ji)視(shi)覺、模(mo)式(shi)識別等多(duo)個領域）上發表了(le)題為“FedIPR: 聯邦深度神經網(wang)絡模(mo)型(xing)(xing)的(de)所(suo)屬(shu)權驗證”（FedIPR: Ownership Verification for Federated Deep Neural Network Models）的(de)論(lun)文。該論(lun)文從算法、協議、安全等多(duo)個角度出發，就聯邦學(xue)習模(mo)型(xing)(xing)知識產權保(bao)護(hu)(hu)問題，分(fen)享了(le)他們(men)對模(mo)型(xing)(xing)知識產權保(bao)護(hu)(hu)的(de)思考和工作(zuo)，提出了(le)名為“FedIPR”的(de)聯邦學(xue)習模(mo)型(xing)(xing)版權保(bao)護(hu)(hu)框(kuang)架。

近年來，深度神(shen)(shen)經網(wang)絡(luo)（DNN）等機器學習技術在諸多(duo)領域(yu)取(qu)得了巨大成功，許多(duo)科技公(gong)司都將神(shen)(shen)經網(wang)絡(luo)模型部署在商業(ye)產品(pin)中，提高(gao)效益。訓練先進的(de)神(shen)(shen)經網(wang)絡(luo)模型需要大規模數(shu)據集、龐(pang)大的(de)計(ji)算(suan)資源和設(she)計(ji)者(zhe)的(de)智慧，具體體現在如下三個領域(yu)：

一、深度學習(xi)模型應用的(de)訓練模型規模巨大。以 GPT-3 為(wei)例，其預訓練所(suo)用的(de)數據量(liang)達到 45TB，訓練費用超過 1200 萬美元，有著極高的(de)經濟成(cheng)本。

二、深度學習模(mo)型(xing)在訓練部署到工業(ye)應用(yong)場景過程中需(xu)要(yao)引入(ru)相(xiang)關領(ling)域的(de)先驗(yan)知(zhi)識(shi)。例如，其(qi)在智(zhi)慧(hui)金融(rong)、智(zhi)慧(hui)醫療(liao)領(ling)域的(de)應用(yong)，需(xu)要(yao)引入(ru)金融(rong)、醫療(liao)等(deng)領(ling)域專(zhuan)有先驗(yan)知(zhi)識(shi)。因此，在模(mo)型(xing)設計過程，開發者(zhe)需(xu)要(yao)引入(ru)專(zhuan)家的(de)知(zhi)識(shi)和經驗(yan)來訂制模(mo)型(xing)，這也體現了(le)人腦力的(de)知(zhi)識(shi)產(chan)權。

三、深度學習(xi)模型(xing)的訓練過程需要特定(ding)領(ling)域的海量數(shu)據作(zuo)為訓練資(zi)源(yuan)，而數(shu)據本身具有(you)價(jia)值和知識屬性。

以上屬性(xing)決定了經過訓練的深度學習模型(xing)具(ju)有很高的商業價值和(he)知識(shi)屬性(xing)，必須將其納入合法(fa)所有者（即創(chuang)建它的一方(fang)）的知識(shi)產(chan)權(quan)。因此，從技術層(ceng)面，行業也面臨迫切保(bao)護深度神經網絡（DNN）模型(xing)的知識(shi)產(chan)權(quan)，以防(fang)止其被非法(fa)復制、重新分(fen)發或濫用。

針對昂貴的模(mo)型(xing)，攻(gong)擊者可以采(cai)用(yong)技(ji)(ji)術(shu)手段或者非技(ji)(ji)術(shu)手段進(jin)行(xing)竊取(qu)；但(dan)要確認(ren)盜(dao)用(yong)且聲明(ming)模(mo)型(xing)所有權，則(ze)是完全從(cong)人(ren)工智能理論(lun)方法角度(du)出發(fa)，模(mo)型(xing)的所有權認(ren)證(zheng)技(ji)(ji)術(shu)需要保證(zheng)不(bu)犧牲模(mo)型(xing)可用(yong)性前提下，提供可靠且穩健的知識(shi)產(chan)權保護方法。

相比(bi)于中心(xin)化場(chang)景的模(mo)(mo)型(xing)訓(xun)練(lian)，聯(lian)邦學習分布式訓(xun)練(lian)涉及(ji)多個參與方，存在參與方被敵手攻擊或者(zhe)模(mo)(mo)型(xing)搭便車的情況，因(yin)此有更大的人工智能模(mo)(mo)型(xing)泄(xie)露風險，對聯(lian)邦學習模(mo)(mo)型(xing)的所屬權構成了潛在的侵犯(fan)風險。

傳統的深度學習模型知識產權保護方法主要著眼于深度神經網絡水印的算法實踐和穩健性挑戰，沒有把模型水印實踐到可信聯邦學習方向的研究。微眾銀行AI團隊提出的FedIPR框架考慮一種不完全信任的聯邦學習系統，假定聯邦學習各參與方能夠按照聯邦法則來進行模型更新和協同訓練，但彼此不泄露私有本地數據和私密簽名。在這種設定下，FedIPR闡述了一種新穎的聯合深度神經網絡（FedDNN）所有權驗證方案（圖1^[1]），該方案允許嵌入和驗證所有權簽名，以聲明 FedDNN 模型的合法知識產權（IPR），以防模型被非法復制、重新分發或濫用。

微(wei)眾銀(yin)行AI團隊提(ti)出黑盒(he)與白(bai)盒(he)兩階段驗證(zheng)聯邦學習模型所屬權的(de)框(kuang)架分為兩個階段（圖(tu)2） ：

一、黑盒階段，不需要訪問模(mo)型(xing)參數和(he)內部結構，只需輸(shu)(shu)入(ru)特定樣本(ben)進(jin)入(ru)模(mo)型(xing)API, 根據模(mo)型(xing)輸(shu)(shu)出判定模(mo)型(xing)所(suo)(suo)屬(shu)(shu)權(quan)，為模(mo)型(xing)所(suo)(suo)屬(shu)(shu)權(quan)提供初步依據。

二、白盒驗證階段，執法機關根據上(shang)一階段，打開模(mo)型(xing)參(can)數(shu)和結構，驗證模(mo)型(xing)參(can)數(shu)中是否嵌入有實現給定的能證明所屬權的“水印”。

針對白盒模型驗證場景，團隊創新(xin)地提出了針對 batch normalization 層(ceng)（圖3）的仿射變換參數，進行水印嵌(qian)入(ru)，該嵌(qian)入(ru)方法(fa)具有強可用性和穩健性。

FedIPR 框架創(chuang)新(xin)性地解決了模型所有權驗(yan)證在(zai)聯邦學習中的兩大挑戰：

一(yi)、亟需解決(jue)多水(shui)印沖(chong)突問題。特別是對于(yu)基于(yu)特征的(de)(de)水(shui)印，對于(yu)不同(tong)的(de)(de)客戶(hu)是否可以有一(yi)個(ge)通用的(de)(de)解決(jue)方(fang)案來嵌入(ru)他們(men)的(de)(de)私人(ren)指(zhi)定水(shui)印。如下圖4所示(shi)，當不同(tong)客戶(hu)端希(xi)望各自(zi)嵌入(ru)水(shui)印進(jin)全局聯(lian)邦(bang)學(xue)習(xi)模(mo)型(xing)當中，多個(ge)水(shui)印可能(neng)彼此發生沖(chong)突。針(zhen)對該挑戰，FedIPR提出用秘密(mi)提取(qu)矩陣的(de)(de)方(fang)式，解決(jue)了多個(ge)水(shui)印在(zai)聯(lian)邦(bang)學(xue)習(xi)模(mo)型(xing)之中互相沖(chong)突的(de)(de)挑戰。

二(er)、亟(ji)需(xu)解決性(xing)能(neng)問(wen)題。水印(yin)的穩健(jian)性(xing)表明模型水印(yin)是(shi)否能(neng)在聯邦學習模型各種(zhong)訓練策(ce)略中(zhong)適用(yong)，以及是(shi)否能(neng)抵御各種(zhong)去除水印(yin)的攻(gong)擊。FedIPR采用(yong)客(ke)戶端嵌入的方式在差分(fen)隱私、魯棒聚合(he)、模型剪(jian)枝、微調等多種(zhong)設(she)定(ding)下進行了實驗。

該論文展示了(le)相(xiang)關(guan)實驗結果，闡(chan)述了(le)FedIPR在(zai)主任務可用性，水印顯著性以及穩健性方(fang)面的(de)性能(neng)，卓越的(de)性能(neng)證(zheng)明了(le)基于后門和特征的(de)水印都(dou)能(neng)提供良好的(de)聯(lian)邦學(xue)習模型所有權驗證(zheng)。

Github 代碼鏈接：//github.com/purp1eHaze/FedIPR 

^[1] 文章配圖均來自于論文FedIPR: Ownership Verification for Federated Deep Neural Network Models (//ieeexplore.ieee.org/document/9847383/)