深(shen)圳2022年6月29日 /美通社(she)/ -- 近(jin)日，千博(bo)信息、中(zhong)國(guo)科學院自(zi)動化研究所、華為基(ji)于“紫東太初”三模態(tai)大(da)模型、昇騰AI基(ji)礎軟硬件平臺(tai)打造出手語(yu)(yu)多(duo)模態(tai)模型及手語(yu)(yu)教考一(yi)體機(ji)，輔助聽(ting)障人士(shi)更(geng)好地理(li)解和(he)學習手語(yu)(yu)。我國(guo)有2700多(duo)萬(wan)聽(ting)障人士(shi)，手語(yu)(yu)是聽(ting)障人群溝通交(jiao)流的(de)主要方(fang)式，但手語(yu)(yu)學習面臨詞匯更(geng)新(xin)慢(man)、師資短缺、手語(yu)(yu)標(biao)準難(nan)統(tong)一(yi)等多(duo)重挑戰。

研發人(ren)員讓“紫東太初”三模態(tai)大模型(xing)學(xue)習(xi)了1.2萬個(ge)手語(yu)(yu)詞(ci)匯、50多(duo)(duo)萬語(yu)(yu)法、70多(duo)(duo)萬語(yu)(yu)料，基于昇思MindSpore AI框架(jia)，開(kai)發手語(yu)(yu)多(duo)(duo)模態(tai)模型(xing)，開(kai)創(chuang)性地實(shi)現手語(yu)(yu)動(dong)作(zuo)與視頻、圖(tu)片示意和文字(zi)說明(ming)的(de)聯動(dong)，讓初學(xue)者對手語(yu)(yu)語(yu)(yu)義理解(jie)更加深刻。而后，基于手語(yu)(yu)多(duo)(duo)模態(tai)模型(xing)，利用昇騰AI基礎軟(ruan)硬件平臺開(kai)發出手語(yu)(yu)教考一(yi)(yi)體(ti)機。目前，該一(yi)(yi)體(ti)機已在湖南多(duo)(duo)個(ge)特殊教育學(xue)校陸續上(shang)線，一(yi)(yi)定程(cheng)度上(shang)緩解(jie)了手語(yu)(yu)師(shi)資短缺(que)問題(ti)。

手(shou)語教(jiao)考一體(ti)機可以(yi)實(shi)現文本到圖像(xiang)的(de)自(zi)動生成，具備實(shi)時手(shou)語手(shou)勢識(shi)別、表情及唇(chun)語識(shi)別等能力(li)，并且(qie)還可實(shi)現新事物詞匯(hui)的(de)及時學(xue)習與更新，適用于(yu)特殊教(jiao)育學(xue)校(xiao)、開設手(shou)語教(jiao)學(xue)師資培養的(de)大(da)專院(yuan)校(xiao)、通用手(shou)語推廣(guang)教(jiao)學(xue)點和全國(guo)殘(can)聯基層培訓點等。此外，基于(yu)手(shou)語多模(mo)態模(mo)型打造的(de)AI手(shou)語助手(shou)功(gong)能可用于(yu)同傳翻(fan)譯(yi)、新聞主持、服(fu)務引導等場景。

2021年底，基(ji)于“紫東太初”三模(mo)(mo)(mo)態大(da)(da)(da)模(mo)(mo)(mo)型，華為攜手伙伴成立了多模(mo)(mo)(mo)態人工(gong)智能產業聯盟(meng)，經過半年多緊密合作，陸(lu)續孵化出多個(ge)行業解(jie)決方案，如(ru)手語(yu)多模(mo)(mo)(mo)態模(mo)(mo)(mo)型和手語(yu)教考一(yi)(yi)體(ti)機。在AI大(da)(da)(da)模(mo)(mo)(mo)型產業化落地過程中(zhong)，豐富(fu)的(de)數據和參數、更泛化的(de)應(ying)用(yong)(yong)(yong)場景(jing)，反哺大(da)(da)(da)模(mo)(mo)(mo)型基(ji)礎能力(li)，讓大(da)(da)(da)模(mo)(mo)(mo)型更智能、場景(jing)適用(yong)(yong)(yong)性更好(hao)，從(cong)而對行業應(ying)用(yong)(yong)(yong)提(ti)供(gong)更大(da)(da)(da)的(de)支持(chi)，實現大(da)(da)(da)模(mo)(mo)(mo)型創新到(dao)應(ying)用(yong)(yong)(yong)，再到(dao)迭(die)代(dai)升(sheng)級(ji)的(de)產業正(zheng)循(xun)環。未來基(ji)于中(zhong)國算力(li)網(wang)—智算網(wang)絡的(de)充沛(pei)算力(li)，AI大(da)(da)(da)模(mo)(mo)(mo)型的(de)創新、應(ying)用(yong)(yong)(yong)到(dao)迭(die)代(dai)升(sheng)級(ji)的(de)速度將(jiang)進一(yi)(yi)步(bu)加快，大(da)(da)(da)模(mo)(mo)(mo)型在不同(tong)領域的(de)應(ying)用(yong)(yong)(yong)也(ye)將(jiang)更加多元化。