服務需求

業務需求編號

N-0186

名稱

通過生成手語改善溝通

業務需求/挑戰

儘管聯合國殘疾人權利公約強調手語對聽障人士的重要性,但香港對手語使用者的支持卻十分有限。香港有超過200,000名聽障人士,卻只有50名註冊手語翻譯員為他們提供服務。這導致聽障人士難以獲取重要資訊和服務,同時容易產生孤單和被排斥感。雖然已努力提高市民對這類人士需要的認知,但仍遠遠有所不足。

我們提議通過將口語語言和香港手語(HKSL)進行翻譯,改善香港健聽和聽障人士之間的溝通。該解決方案結合了兩個模組:第一個模組使用卷積神經網絡(CNNs)識別HKSL並將其翻譯成口語語言;第二個模組使用神經機器翻譯(NMT)和生成對抗網絡(GAN)及動作生成,從口語語句生成手語視頻序列。

CNNs模組能夠有效識別HKSL,實現在醫療緊急情況或執法場景等各種情境下的實時溝通。NMT和GAN模組能夠將文本信息轉換為現實的HKSL視頻序列,讓聽障人士社群能夠獲取任何文本信息,包括即時新聞或緊急通知。

該解決方案有潛力革新香港聽障人士社群的溝通方式,促進所有人不論能力,都能平等地獲取信息和服務。通過結合這兩個模組,該解決方案能夠在各種情境下促進溝通,創造一個更具包容性的社會,並打造無障礙城市。

應用領域

廣播

教育

就業及勞工

社會共融

預期成果

在六個月內完成概念驗證開發,並根據需要提供所需的設備和人工智能培訓數據。

擬採用的技術

人工智能

深度學習

機器學習

影像分析