2022年4月，有一個名叫Niubility的團隊，在新加坡走紅。他們參與了華為云SPARK Hackathon Singapore 2022大賽，在華為云云原生數(shù)據(jù)庫GaussDB(for MySQL)的基礎上構建了“DeafTalk”這款應用，并在將近500名參賽者中脫穎而出，斬獲大賽總冠軍。
顧名思義，DeafTalk是一款聽覺-語言治療助手。它以趣味性的方式，訓練并糾正聽障兒童的發(fā)音，輔助治療師對患者進行聽障治療，最終目標是促進聽障兒童與外界的人際溝通。
Niubility成功地將現(xiàn)有的研究與國際音標（IPA）結合到一個應用中，希望用科技為特殊人群創(chuàng)造更好的世界。
聽覺語言治療難在哪里？
聽力障礙讓兒童語言的形成變得十分困難。人們在說話時，其實無時無刻不在自己耳朵的監(jiān)聽之下。兒童的咿呀學語也是“邊聽邊說”的過程，如果聽不到自己的發(fā)音，就很難判斷說話的效果。而且如果在6-12歲適合進行聽覺語言治療的黃金時期，沒有及早干預和采取康復訓練，聽障兒童將慢慢地失去模仿和學習語言的機會，長大以后也就無法如常人般交流。
但在現(xiàn)實中，聽覺語言治療卻并非易事。
以新加坡為例，口語康復訓練每小時的費用高達200新幣以上，約等于1000元人民幣。而這樣的治療需要持續(xù)將近十年的時間，高昂的治療費用是很多家庭難以承受的。
其次，在傳統(tǒng)的口語康復訓練中，需要治療師、失聰兒童和家長三方共同進行，家長需掌握專業(yè)訓練的方法，并在日常生活中抽出大量時間輔助孩子完成訓練。
此外，康復治療的過程單調而冗長。哪怕對于正常孩子來說，長時間進行語言訓練都是一個艱巨的任務。對于失聰兒童來說，學習效率更低。
如何在語言發(fā)展的關鍵期，改進康復方法，讓康復過程更容易被接受、更高效，是相關從業(yè)者一直思考的問題。Niubility團隊的兩名成員——新加坡國立大學計算機科學專業(yè)的胡家俊和張之堯，也希望能夠借助云計算的力量，幫助聽障兒童更便捷、更高效地獲取專業(yè)訓練。
讓聽障兒童的聽覺語言治療充滿趣味
當前，大多數(shù)的治療師仍在用傳統(tǒng)的方式為聽障兒童制定康復方案。而經過長時間調研的胡家俊、張之堯認為，圖像識別、自然語言處理等AI技術，能夠更科學地輔助治療師，糾正聽障兒童的發(fā)音。因此他們設計了DeafTalk這一方案。
DeafTalk最大的特點在于，它能精準分析聽障兒童發(fā)音不準確的問題，進而精準地提供改善建議，并且以游戲化的方式，引導聽障兒童通過持續(xù)性訓練不斷改善發(fā)音。
具體到每一項功能，DeafTalk首先是一款手機應用，是一個簡單易用的手機APP。張之堯分享道，這款APP是和治療師的治療綁定在一起的。治療師可在線安排課程，比如對某個單詞、某個句子進行針對性的訓練。
而在患者一端，APP提供口語發(fā)音視頻給到聽障兒童學習，在聽障兒童模仿的過程中，對其口型進行口腔識別和3D模型比對、對其發(fā)音進行語音識別，從而實現(xiàn)一邊學習、訓練，一邊進行語音識別反饋。訓練完成后，所有的數(shù)量和反饋結果會反饋給治療師進行分析。
通過這個過程，我們可以看出DeafTalk的兩個特性：一是基于手機應用提供治療服務，簡單易用，方便兒童學習；二是訓練可視化，根據(jù)實時圖像反饋提供3D口腔指導，以及通過教程視頻提供指導。
DeafTalk還極大地增強了學習的趣味性，可以通過游戲訓練對兒童進行發(fā)音訓練。比如，在"Jump for Fun"小游戲中，聽障兒童根據(jù)提示對指定單詞進行發(fā)音，如果發(fā)音準確，棋子將跳到下一個平臺，一步步升級。游戲不僅擴展了聽障兒童的詞匯量，而且訓練了他們的發(fā)音準確性。
在手機端游戲基礎上更進一步，DeafTalk還設置了名為 "Cube-Hub"的實體游戲，不僅包括軟件功能，還有硬件設備。根據(jù)APP所提供的單詞，聽障兒童需要組合給定的國際音標。如果排序、拼寫正確，"Cube-Hub"將反饋笑臉，表示兒童拼寫正確。
Niubility團隊之所以能一舉拿下“SPARK Hackathon Singapore 2022”的冠軍，跟DeafTalk的實際落地情況密不可分。
Niubility團隊與一位聽障朋友Ku Yanwei進行了長時間的合作與多輪的測試，并且多次進行了超過100位測試者的beta-testing，最終完成了DeafTalk的研發(fā)。目前Niubility團隊也在和一些本地NGO合作，幫助聽障兒童集體進行訓練，在大大降低康復成本的同時，還能提高康復效率。讓接受專業(yè)聽覺語言治療的過程，就像在手機上訂閱歌曲一樣簡單。
技術賦能讓聽障兒童生活更美好
創(chuàng)新者的路都是困難而孤獨的。Niubility團隊在研發(fā)DeafTalk的時候也遇到了諸多難題，包括市場上沒有相關參考、APP開發(fā)的技術支撐問題，以及深度學習缺少數(shù)據(jù)量的問題等等。張之堯說：“我們需要不斷地去跟社區(qū)和NGO合作，進而不斷提高產品的準確率?！辈⑶覐漠a品設計之初，Niubility團隊就采用了華為云GaussDB。
張之堯說：“DeafTalk的數(shù)據(jù)存儲和處理采用了華為云GaussDB(for MySQL)，即開即用，可輕松上手，免去了部署和管理數(shù)據(jù)庫的繁瑣，讓我可以更專注于應用的創(chuàng)新和實現(xiàn)；其高性能、高可靠、高可用、高擴展、應用透明以及容災能力，也讓我可以更好地規(guī)劃產品未來的商業(yè)拓展，不用擔心因為用戶數(shù)和數(shù)據(jù)量的爆發(fā)式增長而帶來的數(shù)據(jù)處理能力以及安全挑戰(zhàn)。而且GaussDB(for MySQL)100%兼容MySQL生態(tài)，讓整個數(shù)據(jù)庫開發(fā)搭建過程非常順利?！?/p>
如今，DeafTalk已經綜合運用了包括GaussDB、OBS、ECS等在內的華為云產品，Niubility團隊把DeafTalk 的整個系統(tǒng)和生態(tài)都放在了華為云上面。在未來的規(guī)劃里，團隊將持續(xù)更新算法，采用SaaS訂閱模式，提供給治療師、聽障兒童以及合作的NGO來使用，他們還將基于華為云去完善每一個細小的功能。
雖然，未來的路上仍然會遇到很多困難，但Niubility團隊堅信，在華為云的加持下，在社會各界的鼓勵下，他們將不忘初心，繼續(xù)前行，懷著赤誠之心，為更多聽障兒童推開一扇“有聲的窗”。
