原标题:AI技术,让我们“听”懂聋人。
这个寒假,一群聋哑大学生成了冬奥会的远程志愿者。他们来自天津工业大学聋人技术研究所。这些志愿者将电视新闻栏目的内容转化为手语文本,为冬奥会转播所需的AI(人工智能)手语数字人提供大规模语料库支持。
天津工业大学聋哑人技术研究所副所长袁是这些聋哑学生的老师,也是无障碍智能技术研发中心的成员。她介绍:“研发;无障碍智能技术d中心将为冬奥会直播提供AI手语数字人的手语语料库支持。我和我的学生已经为此忙碌了两个多月。我们非常荣幸能为冬奥会服务。”
教AI认知手语
2021年,在中国聋人高等工程特殊教育30周年纪念大会上,一个“手语角”吸引了很多人驻足。只要你在镜头前输入手语,后面的显示屏上就会出现语义连贯的文字翻译。袁展示了这个名为“复杂场景下的中国手语实时翻译系统”(以下简称“鲸语”)的《“鲸可语”——多模态连续手语自动标注识别系统》项目。据介绍,在光线充足稳定的室内房间,系统对手语的识别率可达95%,部分场景可实现“同声传译”。开发这个系统的目的是让每一个健康的听者都容易理解手语。其自动标注识别系统“鲸科宇”也在去年第七届中国国际互联网大学生创新创业大赛主赛道获得金奖。
王建元是研发委员会的成员之一;d队。他是一个在聋人家庭长大的聋子。他听力损失严重,吐字非常困难。手语是他最初和世界打交道的最有效的方式。在过去的22年里,聋哑人的身份并没有让他自卑;不会说话,也没耽误他成为一名正当的“校长”;但如果你问他从小到大因为听力障碍遇到了什么不便,他会很平静地在手机上打出四个字:——,因为懂手语的人太少了。
最典型的例子之一就是看医生。没有手语翻译,即使只是头疼,一个“手语家庭”王力可建院也很难独自看病。
自1991年9月11日第一批6名聋人学生入学以来,天津工业大学聋人学院的老师们积累了大量与聋人沟通的经验。
袁学的是计算机科学。2006年研究生一毕业,就在聋哑人技术学院计算机科学与技术系工作。上班的第一天,她面临着学习手语的挑战。通过读单词和嘴唇,学生可以了解老师,但是老师不能很快了解学生。跌跌撞撞学手语,袁记不清学了多少遍。凌晨一两点,他陪学生看病,帮忙做手语翻译。
中国有2780万聋人。健康的人如何依靠科技的力量进入自己的世界?袁、等人启动了“鲸鱼会说话”手语实时翻译系统的研发。
“Whake Language”手语的实时翻译类似于手语版的“语音输入法”。然而,后者是输入语音、机器识别和文本,而前者是输入手语动作和表情以及机器识别。
要把人工智能训练成合格的手语翻译,手势、面部表情、大肢体动作都要从视频转换成数据,然后“教”给电脑。因此,能够充分理解和展现手语之美的听障学生,才是最适合做人工智能“老师”的人。
很多国外团队建立的手语数据集无法支持复杂场景下的手语翻译。一个直接原因是无法找到足够多的人在自然状态下收集手语。“我们的团队得到了聋人技术研究所的支持,许多成员
做一个数字AI手语人,就是让聋人用熟悉的方式理解听力人的表达。核心研发点是手语生成,而手语识别和翻译的核心研发点是手语识别,难度更大。“鲸语”需要两项技术:计算机视觉和自然语言识别处理。聋人的手语包括表情、手部动作和肢体动作,这些都需要计算机融合识别,这就是计算机识别技术。利用计算机程序将计算机识别的信息转化为听觉人熟悉的语言模式,是一种自然的语言识别和处理技术。AI手语数字人,某种程度上只涉及自然语言识别和处理的技术过程。从技术转型的角度来看,AI手语数字人的落地时间会更短,对数据的投入相对更少,结果更容易市场化。
“为什么非要做手语翻译?聋人听不见。现在有了语音识别!有些聋人不会说话。你就不能用手机打字吗?”有企业从袁那里了解到正在开发的实时手语翻译系统,想谈投资。但说了又说,他们质疑这个项目的必要性,认为手语翻译除了“做好事”没有其他意义。为什么要致力于鲸语的研发和转化?
“在与学生交流的过程中,我知道对残疾人最好的关心就是平等。他们不是残疾人,只是和我们不一样。”袁对说。
沟通总是双向的。我们教聋人写字、识字和读唇语。他们正试图融入听障人士的世界。我们听障人士也应该努力去理解和接纳听障人士。
袁说,直到今天,手语仍然是许多听力障碍者最自然、最有效的表达方式,“比书写和打字还快”。然而,为了促进无障碍交流,要求所有听力正常的人都学习手语显然是不现实的。“Whake语言”手语实时翻译系统
就是利用高科技让健听人努力向听障人靠拢。(本报记者 刘 茜 陈建强)