北京(jing)2021年1月26日 /美通社(she)/ -- 近日,TF2開源(yuan)社(she)區(qu)(網址:)公(gong)布(bu)了一項最(zui)新創新成果:南開大學智能計算系統(tong)研究(jiu)室(NKiCS)在(zai)AI眼(yan)(yan)底(di)圖像(xiang)血管分(fen)(fen)割研究(jiu)中,借助浪潮FPGA開源(yuan)框架TF2,將單張眼(yan)(yan)底(di)圖像(xiang)的推理速度(du)提升2.4倍,在(zai)提高(gao)工(gong)作效率的同時有(you)效地降(jiang)低了計算功耗。這將推動(dong)眼(yan)(yan)底(di)圖像(xiang)分(fen)(fen)析技術(shu)在(zai)臨床(chuang)應用,幫助醫生更快(kuai)速地診斷與眼(yan)(yan)底(di)相關(guan)聯的糖尿病及其他慢性(xing)疾病。
眼(yan)睛是(shi)人體健康的“鏡子”,眼(yan)底圖像(xiang)可以間(jian)接反應(ying)腦(nao)血(xue)管(guan)(guan)系統等的病(bing)(bing)變(bian)情(qing)況,具有非(fei)侵入的優點。通(tong)過從檢眼(yan)鏡采(cai)集(ji)的彩色眼(yan)底圖像(xiang)中(zhong)提取視網膜血(xue)管(guan)(guan),醫(yi)療(liao)人員能夠(gou)分析(xi)血(xue)管(guan)(guan)形態(tai)狀況,進(jin)行(xing)疾(ji)(ji)病(bing)(bing)預(yu)警、篩查和診斷。但是(shi),受眼(yan)底圖像(xiang)采(cai)集(ji)技術的限制,圖像(xiang)中(zhong)往(wang)往(wang)存在大量(liang)噪(zao)聲,再(zai)加之視網膜血(xue)管(guan)(guan)結構復(fu)雜多(duo)變(bian),使得視網膜血(xue)管(guan)(guan)分割(ge)非(fei)常(chang)困難。人工智能深度學習技術能夠(gou)顯著提升血(xue)管(guan)(guan)分割(ge)的速(su)度,幫助醫(yi)療(liao)人員快速(su)、準確(que)分析(xi)眼(yan)底血(xue)管(guan)(guan)形態(tai),診斷糖尿(niao)病(bing)(bing)、心腦(nao)血(xue)管(guan)(guan)疾(ji)(ji)病(bing)(bing)等常(chang)見疾(ji)(ji)病(bing)(bing)。
眼底圖像(左)與血管圖像(右)
在實際(ji)應用(yong)(yong)中(zhong),由(you)于血(xue)管分析(xi)模型參數量大、計算復雜(za)度(du)高等問(wen)題(ti)(ti),一般需要昂(ang)貴(gui)的GPU才(cai)能達到較快(kuai)的分割(ge)速度(du),不利于眼(yan)底圖(tu)像(xiang)技術的臨床推廣(guang)應用(yong)(yong)。如何提高眼(yan)底圖(tu)像(xiang)分割(ge)效率并降低TCO,是研究(jiu)人員亟(ji)需解決的問(wen)題(ti)(ti)。NKiCS研究(jiu)人員嘗試將高性能功耗(hao)比、可定制、低延遲(chi)的FPGA技術運用(yong)(yong)到眼(yan)底圖(tu)像(xiang)血(xue)管分割(ge)中(zhong),但面臨FPGA軟件編寫門檻高、性能優化受限、功耗(hao)難以控制等挑(tiao)戰。
浪潮FPGA開源框(kuang)架(jia)TF2支持PyTorch、Caffe等深度學(xue)習框(kuang)架(jia),經(jing)過編(bian)譯技(ji)術(shu)即可(ke)適配訓練好的(de)深度學(xue)習模(mo)型(xing)(xing)到(dao)FPGA上(shang),而(er)不需要(yao)任何的(de)FPGA開發(fa)工作,可(ke)幫(bang)助用戶(hu)快(kuai)速實現(xian)基于(yu)主流AI 框(kuang)架(jia)和深度神經(jing)網(wang)絡(luo)模(mo)型(xing)(xing)(DNN)的(de)FPGA線上(shang)推理,并通過首創(chuang)的(de)FPGA上(shang)DNN的(de)移位運(yun)算技(ji)術(shu)獲得AI 應用的(de)高性能和低延遲。
TF2計算加(jia)速流(liu)程
為(wei)了促進(jin)FPGA技術的開源開放(fang)合作發展,降低高性(xing)能AI計(ji)算(suan)技術門(men)檻(jian),TF2開源社區推出了可重(zhong)構AI計(ji)算(suan)發展計(ji)劃,為(wei)參與(yu)者提(ti)供(gong)F10A、F37X等最新(xin)FPGA加(jia)速(su)卡支(zhi)持(chi),鼓(gu)勵(li)參與(yu)者將創新(xin)性(xing)成果反饋至社區,并提(ti)供(gong)針對性(xing)的技術培訓和服(fu)務,支(zhi)持(chi)項(xiang)目開發和落地。
在TF2開源社(she)區(qu)的(de)助力下,NKiCS采用TF2和浪潮F10A FPGA加(jia)速(su)(su)(su)卡適(shi)配BTS-DSN神經(jing)網(wang)絡(luo)(luo)模(mo)(mo)型(xing),實(shi)(shi)現(xian)(xian)了眼底血管(guan)(guan)圖像實(shi)(shi)時(shi)分(fen)割(ge),大幅提升(sheng)(sheng)了工作效(xiao)率(lv),并降低了功(gong)耗(hao)和TCO。研究人員首(shou)先利用TF2的(de)模(mo)(mo)型(xing)優化(hua)轉換(huan)工具(ju)Transform Kit對(dui)網(wang)絡(luo)(luo)模(mo)(mo)型(xing)實(shi)(shi)現(xian)(xian)模(mo)(mo)型(xing)轉換(huan)、模(mo)(mo)型(xing)壓縮與特征(zheng)圖量化(hua),并生成適(shi)配TF2智(zhi)能運行引擎Runtime Engine的(de)網(wang)絡(luo)(luo)模(mo)(mo)型(xing)文件,然后(hou)與Runtime Engine提供(gong)的(de)計算(suan)(suan)架構(gou)相(xiang)結(jie)合并編譯為FPGA目(mu)標文件,最后(hou)實(shi)(shi)現(xian)(xian)基于(yu)(yu)FPGA的(de)神經(jing)網(wang)絡(luo)(luo)推(tui)理(li)計算(suan)(suan)加(jia)速(su)(su)(su),高速(su)(su)(su)處理(li)眼底血管(guan)(guan)分(fen)割(ge)任務。實(shi)(shi)測結(jie)果(guo)顯示,單張(zhang)眼底血管(guan)(guan)圖像推(tui)理(li)僅需0.0434秒,相(xiang)較于(yu)(yu)GPU提速(su)(su)(su)2.4倍,同時(shi)加(jia)速(su)(su)(su)卡功(gong)耗(hao)僅35W,有效(xiao)提升(sheng)(sheng)了性能功(gong)耗(hao)比。
除了(le)加入TF2開(kai)(kai)源社區,為了(le)推動AI眼(yan)(yan)底血管圖(tu)(tu)像(xiang)分(fen)析技術走(zou)向(xiang)臨床(chuang)應用,NKiCS也在努力推動眼(yan)(yan)底圖(tu)(tu)像(xiang)數據(ju)(ju)的(de)(de)(de)開(kai)(kai)源開(kai)(kai)放。NKiCS聯合(he)多家權威醫學機構,發布了(le)OIA數據(ju)(ju)集(ji)(鏈接:),填補了(le)中國眼(yan)(yan)科(ke)圖(tu)(tu)像(xiang)數據(ju)(ju)領域的(de)(de)(de)空白。OIA是(shi)基于臨床(chuang)環境(jing)的(de)(de)(de)、高質(zhi)量的(de)(de)(de)、數據(ju)(ju)樣(yang)本充分(fen)的(de)(de)(de)系(xi)列數據(ju)(ju)集(ji),包括面向(xiang)糖尿病(bing)(bing)視網膜病(bing)(bing)變(bian)分(fen)類(lei)和病(bing)(bing)變(bian)點分(fen)割的(de)(de)(de)數據(ju)(ju)集(ji)OIA-DDR,以及基于眼(yan)(yan)底圖(tu)(tu)像(xiang)的(de)(de)(de)多類(lei)型病(bing)(bing)變(bian)分(fen)類(lei)的(de)(de)(de)數據(ju)(ju)集(ji)OIA-ODIR,從來自全國26個省份,400多家臨床(chuang)醫院的(de)(de)(de)160多萬張眼(yan)(yan)底圖(tu)(tu)像(xiang)庫(ku)中,通過專業(ye)人員抽取(qu)、眼(yan)(yan)科(ke)專家標注、計算機專家建模(mo)評測(ce)而得到。
隨(sui)著眼底圖像處理效率提升和數據集不斷(duan)(duan)完善,NKiCS開發的眼底圖像分(fen)析技術將在不久(jiu)的將來應用到(dao)臨床,幫助醫(yi)生(sheng)更高效、更精準地診斷(duan)(duan)與眼底相(xiang)關(guan)聯(lian)的疾病,讓更多(duo)患者得到(dao)及時的干(gan)預(yu)與診療。