2022年4月，有一個(gè)名叫Niubility的團(tuán)隊(duì)，在新加坡走紅。他們參與了華為云SPARK Hackathon Singapore 2022大賽，在華為云云原生數(shù)據(jù)庫(kù)GaussDB(for MySQL)的基礎(chǔ)上構(gòu)建了“DeafTalk”這款應(yīng)用，并在將近500名參賽者中脫穎而出，斬獲大賽總冠軍。
顧名思義，DeafTalk是一款聽覺-語(yǔ)言治療助手。它以趣味性的方式，訓(xùn)練并糾正聽障兒童的發(fā)音，輔助治療師對(duì)患者進(jìn)行聽障治療，最終目標(biāo)是促進(jìn)聽障兒童與外界的人際溝通。
Niubility成功地將現(xiàn)有的研究與國(guó)際音標(biāo)（IPA）結(jié)合到一個(gè)應(yīng)用中，希望用科技為特殊人群創(chuàng)造更好的世界。
聽覺語(yǔ)言治療難在哪里？
聽力障礙讓兒童語(yǔ)言的形成變得十分困難。人們?cè)谡f(shuō)話時(shí)，其實(shí)無(wú)時(shí)無(wú)刻不在自己耳朵的監(jiān)聽之下。兒童的咿呀學(xué)語(yǔ)也是“邊聽邊說(shuō)”的過(guò)程，如果聽不到自己的發(fā)音，就很難判斷說(shuō)話的效果。而且如果在6-12歲適合進(jìn)行聽覺語(yǔ)言治療的黃金時(shí)期，沒(méi)有及早干預(yù)和采取康復(fù)訓(xùn)練，聽障兒童將慢慢地失去模仿和學(xué)習(xí)語(yǔ)言的機(jī)會(huì)，長(zhǎng)大以后也就無(wú)法如常人般交流。
但在現(xiàn)實(shí)中，聽覺語(yǔ)言治療卻并非易事。
以新加坡為例，口語(yǔ)康復(fù)訓(xùn)練每小時(shí)的費(fèi)用高達(dá)200新幣以上，約等于1000元人民幣。而這樣的治療需要持續(xù)將近十年的時(shí)間，高昂的治療費(fèi)用是很多家庭難以承受的。
其次，在傳統(tǒng)的口語(yǔ)康復(fù)訓(xùn)練中，需要治療師、失聰兒童和家長(zhǎng)三方共同進(jìn)行，家長(zhǎng)需掌握專業(yè)訓(xùn)練的方法，并在日常生活中抽出大量時(shí)間輔助孩子完成訓(xùn)練。
此外，康復(fù)治療的過(guò)程單調(diào)而冗長(zhǎng)。哪怕對(duì)于正常孩子來(lái)說(shuō)，長(zhǎng)時(shí)間進(jìn)行語(yǔ)言訓(xùn)練都是一個(gè)艱巨的任務(wù)。對(duì)于失聰兒童來(lái)說(shuō)，學(xué)習(xí)效率更低。
如何在語(yǔ)言發(fā)展的關(guān)鍵期，改進(jìn)康復(fù)方法，讓康復(fù)過(guò)程更容易被接受、更高效，是相關(guān)從業(yè)者一直思考的問(wèn)題。Niubility團(tuán)隊(duì)的兩名成員——新加坡國(guó)立大學(xué)計(jì)算機(jī)科學(xué)專業(yè)的胡家俊和張之堯，也希望能夠借助云計(jì)算的力量，幫助聽障兒童更便捷、更高效地獲取專業(yè)訓(xùn)練。
讓聽障兒童的聽覺語(yǔ)言治療充滿趣味
當(dāng)前，大多數(shù)的治療師仍在用傳統(tǒng)的方式為聽障兒童制定康復(fù)方案。而經(jīng)過(guò)長(zhǎng)時(shí)間調(diào)研的胡家俊、張之堯認(rèn)為，圖像識(shí)別、自然語(yǔ)言處理等AI技術(shù)，能夠更科學(xué)地輔助治療師，糾正聽障兒童的發(fā)音。因此他們?cè)O(shè)計(jì)了DeafTalk這一方案。
DeafTalk最大的特點(diǎn)在于，它能精準(zhǔn)分析聽障兒童發(fā)音不準(zhǔn)確的問(wèn)題，進(jìn)而精準(zhǔn)地提供改善建議，并且以游戲化的方式，引導(dǎo)聽障兒童通過(guò)持續(xù)性訓(xùn)練不斷改善發(fā)音。
具體到每一項(xiàng)功能，DeafTalk首先是一款手機(jī)應(yīng)用，是一個(gè)簡(jiǎn)單易用的手機(jī)APP。張之堯分享道，這款A(yù)PP是和治療師的治療綁定在一起的。治療師可在線安排課程，比如對(duì)某個(gè)單詞、某個(gè)句子進(jìn)行針對(duì)性的訓(xùn)練。
而在患者一端，APP提供口語(yǔ)發(fā)音視頻給到聽障兒童學(xué)習(xí)，在聽障兒童模仿的過(guò)程中，對(duì)其口型進(jìn)行口腔識(shí)別和3D模型比對(duì)、對(duì)其發(fā)音進(jìn)行語(yǔ)音識(shí)別，從而實(shí)現(xiàn)一邊學(xué)習(xí)、訓(xùn)練，一邊進(jìn)行語(yǔ)音識(shí)別反饋。訓(xùn)練完成后，所有的數(shù)量和反饋結(jié)果會(huì)反饋給治療師進(jìn)行分析。
通過(guò)這個(gè)過(guò)程，我們可以看出DeafTalk的兩個(gè)特性：一是基于手機(jī)應(yīng)用提供治療服務(wù)，簡(jiǎn)單易用，方便兒童學(xué)習(xí)；二是訓(xùn)練可視化，根據(jù)實(shí)時(shí)圖像反饋提供3D口腔指導(dǎo)，以及通過(guò)教程視頻提供指導(dǎo)。
DeafTalk還極大地增強(qiáng)了學(xué)習(xí)的趣味性，可以通過(guò)游戲訓(xùn)練對(duì)兒童進(jìn)行發(fā)音訓(xùn)練。比如，在"Jump for Fun"小游戲中，聽障兒童根據(jù)提示對(duì)指定單詞進(jìn)行發(fā)音，如果發(fā)音準(zhǔn)確，棋子將跳到下一個(gè)平臺(tái)，一步步升級(jí)。游戲不僅擴(kuò)展了聽障兒童的詞匯量，而且訓(xùn)練了他們的發(fā)音準(zhǔn)確性。
在手機(jī)端游戲基礎(chǔ)上更進(jìn)一步，DeafTalk還設(shè)置了名為 "Cube-Hub"的實(shí)體游戲，不僅包括軟件功能，還有硬件設(shè)備。根據(jù)APP所提供的單詞，聽障兒童需要組合給定的國(guó)際音標(biāo)。如果排序、拼寫正確，"Cube-Hub"將反饋笑臉，表示兒童拼寫正確。
Niubility團(tuán)隊(duì)之所以能一舉拿下“SPARK Hackathon Singapore 2022”的冠軍，跟DeafTalk的實(shí)際落地情況密不可分。
Niubility團(tuán)隊(duì)與一位聽障朋友Ku Yanwei進(jìn)行了長(zhǎng)時(shí)間的合作與多輪的測(cè)試，并且多次進(jìn)行了超過(guò)100位測(cè)試者的beta-testing，最終完成了DeafTalk的研發(fā)。目前Niubility團(tuán)隊(duì)也在和一些本地NGO合作，幫助聽障兒童集體進(jìn)行訓(xùn)練，在大大降低康復(fù)成本的同時(shí)，還能提高康復(fù)效率。讓接受專業(yè)聽覺語(yǔ)言治療的過(guò)程，就像在手機(jī)上訂閱歌曲一樣簡(jiǎn)單。
技術(shù)賦能讓聽障兒童生活更美好
創(chuàng)新者的路都是困難而孤獨(dú)的。Niubility團(tuán)隊(duì)在研發(fā)DeafTalk的時(shí)候也遇到了諸多難題，包括市場(chǎng)上沒(méi)有相關(guān)參考、APP開發(fā)的技術(shù)支撐問(wèn)題，以及深度學(xué)習(xí)缺少數(shù)據(jù)量的問(wèn)題等等。張之堯說(shuō)：“我們需要不斷地去跟社區(qū)和NGO合作，進(jìn)而不斷提高產(chǎn)品的準(zhǔn)確率?！辈⑶覐漠a(chǎn)品設(shè)計(jì)之初，Niubility團(tuán)隊(duì)就采用了華為云GaussDB。
張之堯說(shuō)：“DeafTalk的數(shù)據(jù)存儲(chǔ)和處理采用了華為云GaussDB(for MySQL)，即開即用，可輕松上手，免去了部署和管理數(shù)據(jù)庫(kù)的繁瑣，讓我可以更專注于應(yīng)用的創(chuàng)新和實(shí)現(xiàn)；其高性能、高可靠、高可用、高擴(kuò)展、應(yīng)用透明以及容災(zāi)能力，也讓我可以更好地規(guī)劃產(chǎn)品未來(lái)的商業(yè)拓展，不用擔(dān)心因?yàn)橛脩魯?shù)和數(shù)據(jù)量的爆發(fā)式增長(zhǎng)而帶來(lái)的數(shù)據(jù)處理能力以及安全挑戰(zhàn)。而且GaussDB(for MySQL)100%兼容MySQL生態(tài)，讓整個(gè)數(shù)據(jù)庫(kù)開發(fā)搭建過(guò)程非常順利。”
如今，DeafTalk已經(jīng)綜合運(yùn)用了包括GaussDB、OBS、ECS等在內(nèi)的華為云產(chǎn)品，Niubility團(tuán)隊(duì)把DeafTalk 的整個(gè)系統(tǒng)和生態(tài)都放在了華為云上面。在未來(lái)的規(guī)劃里，團(tuán)隊(duì)將持續(xù)更新算法，采用SaaS訂閱模式，提供給治療師、聽障兒童以及合作的NGO來(lái)使用，他們還將基于華為云去完善每一個(gè)細(xì)小的功能。
雖然，未來(lái)的路上仍然會(huì)遇到很多困難，但Niubility團(tuán)隊(duì)堅(jiān)信，在華為云的加持下，在社會(huì)各界的鼓勵(lì)下，他們將不忘初心，繼續(xù)前行，懷著赤誠(chéng)之心，為更多聽障兒童推開一扇“有聲的窗”。
