服务需求

业务需求编号

N-0186

名称

通过生成手语改善沟通

业务需求/挑战

尽管联合国残疾人权利公约强调手语对听障人士的重要性,但香港对手语使用者的支持却十分有限。香港有超过200,000名听障人士,却只有50名注册手语翻译员为他们提供服务。这导致听障人士难以获取重要资讯和服务,同时容易产生孤单和被排斥感。虽然已努力提高市民对这类人士需要的认知,但仍远远有所不足。

我们提议通过将口语语言和香港手语(HKSL)进行翻译,改善香港健听和听障人士之间的沟通。该解决方案结合了两个模组:第一个模组使用卷积神经网络(CNNs)识别HKSL并将其翻译成口语语言;第二个模组使用神经机器翻译(NMT)和生成对抗网络(GAN)及动作生成,从口语语句生成手语视频序列。

CNNs模组能够有效识别HKSL,实现在医疗紧急情况或执法场景等各种情境下的实时沟通。NMT和GAN模组能够将文本信息转换为现实的HKSL视频序列,让听障人士社群能够获取任何文本信息,包括即时新闻或紧急通知。

该解决方案有潜力革新香港听障人士社群的沟通方式,促进所有人不论能力,都能平等地获取信息和服务。通过结合这两个模组,该解决方案能够在各种情境下促进沟通,创造一个更具包容性的社会,并打造无障碍城市。

应用领域

广播

教育

就业及劳工

社会共融

预期成果

在六个月内完成概念验证开发,并根据需要提供所需的设备和人工智能培训数据。

拟采用的技术

人工智能

深度学习

机器学习

影像分析