猜你喜歡
更多>(全球語(yǔ)音研究領(lǐng)域頂級(jí)會(huì)議INTERSPEECH2020)
近日,全球語(yǔ)音研究領(lǐng)域頂級(jí)會(huì)議INTERSPEECH2020召開,值得一提的是,其中利用口語(yǔ)自動(dòng)識(shí)別阿爾茨海默癥的競(jìng)賽吸引了包括MIT、首爾大學(xué)、德國(guó)人工智能研究中心等全球34支隊(duì)伍參賽;百度研究院89.6%的準(zhǔn)確率超越MIT等世界頂級(jí)對(duì)手,以第一名的成績(jī)摘得桂冠。
據(jù)了解,百度研究院在競(jìng)賽中基于百度知識(shí)增強(qiáng)語(yǔ)義理解技術(shù)與平臺(tái)ERNIE做出創(chuàng)新,其模型效果比谷歌BERT更好。百度研究院此次奪冠,不僅為阿爾茨海默癥這一廣泛存在的頑疾提供了早期診斷的更多可能性,同時(shí)也證明了語(yǔ)言模型乃至人工智能在醫(yī)療領(lǐng)域的重要價(jià)值,為行業(yè)實(shí)現(xiàn)“AI+醫(yī)療”提供了全新的范例和思路。
(INTERSPEECH2020百度研究院奪魁阿爾茨海默癥的競(jìng)賽)
阿爾茨海默癥即所謂的“老年癡呆”,這是一種起病隱匿的進(jìn)行性發(fā)展的神經(jīng)系統(tǒng)退行性疾病,患者會(huì)出現(xiàn)記憶障礙、失語(yǔ)、失用、失認(rèn)、執(zhí)行功能障礙以及人格和行為改變等全面性癡呆癥狀。隨著老齡化社會(huì)到來(lái),愈多的家庭深受阿爾茨海默癥困擾,嚴(yán)重降低老年人的生活質(zhì)量。醫(yī)學(xué)界認(rèn)為,阿爾茨海默癥的早期診斷非常重要,及時(shí)的干預(yù)和治療可以延緩疾病的發(fā)展甚至治愈。
INTERSPEECH是由國(guó)際語(yǔ)音通信協(xié)會(huì)ISCA組織的語(yǔ)音研究領(lǐng)域的頂級(jí)會(huì)議之一,此次大會(huì)正聚焦于阿爾茨海默癥舉辦識(shí)別競(jìng)賽,探索用AI在早期來(lái)識(shí)別和診斷阿爾茨海默病情的可能性。其中,百度研究院提出的方法是利用語(yǔ)言中的停頓信息,用包含停頓編碼的語(yǔ)音轉(zhuǎn)寫對(duì)Transformer語(yǔ)言模型進(jìn)行微調(diào),并對(duì)多次微調(diào)結(jié)果做多數(shù)表決。
經(jīng)研究,停頓是阿爾茨海默癥的一個(gè)重要特征。停頓信息不僅包括停頓的時(shí)長(zhǎng)和頻率,同時(shí)還包括停頓出現(xiàn)的位置,比如哪兩個(gè)詞之間或者哪種句法結(jié)構(gòu)中出現(xiàn)停頓?;诖耍俣妊芯吭旱难芯勘砻髟谵D(zhuǎn)寫中加入停頓編碼,利用Transformer語(yǔ)言模型中的注意力機(jī)制學(xué)習(xí)數(shù)據(jù)中的停頓信息,可有效識(shí)別阿爾茨海默癥。
(圖1:停頓編碼的流程)
在競(jìng)賽過(guò)程中,百度研究院首先是對(duì)語(yǔ)音和轉(zhuǎn)寫做強(qiáng)制對(duì)齊,根據(jù)強(qiáng)制對(duì)齊得到的停頓時(shí)長(zhǎng)對(duì)停頓進(jìn)行編碼。在嘗試了兩種編碼,分別包括三種停頓(3p:<0.5s,>2s)和六種停頓(6p:<0.5s,>4s)之后,百度研究院再在轉(zhuǎn)寫中加入這些編碼,如上圖所示。
(圖2:微調(diào)的流程)
第二步,百度研究院將識(shí)別阿爾茨海默癥作為語(yǔ)言模型的一個(gè)下游任務(wù),用包含停頓編碼的轉(zhuǎn)寫對(duì)預(yù)訓(xùn)練的語(yǔ)言模型BERT和ERNIE進(jìn)行微調(diào),其流程見上圖;最后發(fā)現(xiàn),通過(guò)微調(diào)預(yù)訓(xùn)練模型得到的分類結(jié)果有較大的不穩(wěn)定性。為克服這一問題,百度研究院又采用了多次微調(diào)并對(duì)結(jié)果做多數(shù)表決,有效提高了算法的穩(wěn)定性和準(zhǔn)確率。
此次對(duì)阿爾茨海默癥停頓特征的研究工作中,百度ERNIE做出了巨大貢獻(xiàn);基于ERNIE,百度研究院算法的識(shí)別準(zhǔn)確率得到了有效提升。結(jié)果(下表)顯示結(jié)合停頓編碼和百度ERNIE語(yǔ)言模型得到的準(zhǔn)確率最高,優(yōu)于只使用轉(zhuǎn)寫(0p,不包含停頓),也優(yōu)于BERT語(yǔ)言模型。
(表1:在測(cè)試集上的結(jié)果)
百度文心(ERNIE)是依托百度深度學(xué)習(xí)平臺(tái)飛槳打造的語(yǔ)義理解技術(shù)與平臺(tái),集先進(jìn)的預(yù)訓(xùn)練模型、全面的NLP算法集、端到端開發(fā)套件和平臺(tái)化服務(wù)于一體,為企業(yè)和開發(fā)者提供一整套NLP定制與應(yīng)用能力;其中ERNIE預(yù)訓(xùn)練模型開創(chuàng)性地將大數(shù)據(jù)預(yù)訓(xùn)練與多源豐富知識(shí)相結(jié)合,通過(guò)持續(xù)學(xué)習(xí)技術(shù),不斷吸收海量文本數(shù)據(jù)中詞匯、結(jié)構(gòu)、語(yǔ)義等方面的新知識(shí),實(shí)現(xiàn)模型效果不斷進(jìn)化,如同人類持續(xù)學(xué)習(xí)一樣。并且百度還將此項(xiàng)世界領(lǐng)先的NLP技術(shù)成果開放給業(yè)界,降低了NLP技術(shù)的準(zhǔn)入門檻,讓各大產(chǎn)業(yè)都能快速擁有構(gòu)建和應(yīng)用文本智能的能力,為產(chǎn)業(yè)智能化提供了全新的加速度。
如今,文心(ERNIE)已廣泛應(yīng)用于搜索引擎、信息流、智能音箱等互聯(lián)網(wǎng)產(chǎn)品中,同時(shí)也在金融、電商、媒體、教育等行業(yè)中落地,成為推動(dòng)產(chǎn)業(yè)智能化轉(zhuǎn)型的利器。在2020世界人工智能大會(huì)上,百度文心(ERNIE)還榮獲了最高獎(jiǎng)項(xiàng)SAIL獎(jiǎng)(Super AI Leader,卓越人工智能引領(lǐng)者)。百度人工智能技術(shù)在阿爾茨海默癥早期識(shí)別和診斷上的應(yīng)用,既體現(xiàn)了“科技為更好”的核心理念,助力人們享受幸福生活,也證明了人工智能技術(shù)向不同領(lǐng)域延伸的巨大價(jià)值。(一鳴)
最新推薦
更多>石榴快播丨推動(dòng)國(guó)資國(guó)企高質(zhì)量發(fā)展邁上新臺(tái)階 自治區(qū)區(qū)屬國(guó)有企業(yè)座談會(huì)今日召開
武漢地鐵幾點(diǎn)開班收班(武漢地鐵幾點(diǎn)開班)
河北啟動(dòng)干旱防御Ⅳ級(jí)應(yīng)急響應(yīng) 多措并舉保障農(nóng)業(yè)生產(chǎn)
鄧倫犯了什么事 鄧倫被強(qiáng)制執(zhí)行 基本情況講解
華誼兄弟:《非誠(chéng)勿擾3》已于6月開機(jī)制作
國(guó)產(chǎn)小爆款《火山的女兒》銷量60萬(wàn)!Steam好評(píng)如潮
GGII:6月全國(guó)備案154個(gè)儲(chǔ)能項(xiàng)目 總規(guī)模達(dá)15.4GW/34.9GWh
猜你喜歡
更多>要聞
更多>終極斗羅15:家丑不可外揚(yáng),傳靈塔卻反其道而行之
新化:洋溪鎮(zhèn)撬動(dòng)行業(yè)協(xié)會(huì)力量,助推農(nóng)村建筑安全、耕地保護(hù)和控違拆違工作良性開展
嘉峪關(guān)酒泉機(jī)場(chǎng)工程順利通過(guò)行業(yè)驗(yàn)收 計(jì)劃9月7日復(fù)航
3連板大連熱電(600719.SH):擬籌劃的資產(chǎn)重組事項(xiàng)存在不確定性
昊華科技(600378)周評(píng):本周跌3.29%,主力資金合計(jì)凈流出1578.27萬(wàn)元
借力AI賦能全球創(chuàng)作者 萬(wàn)興科技攜Wondershare Filmora亮相創(chuàng)作