对于没有学习过手语的人来说，如何与听障者进行交流是个大问题。为解决这一问题，南理工计算机学院大三学生赖水长和同学花大力气开发“希声”项目，实现了没有手语翻译就能双向沟通。不久前，这一项目在第十二届iCAN国际创新创业大赛中国总决赛中获得一等奖。
开发“希声”项目的想法，始于大二的一次社会实践。那时，赖水长和同学们来到秦淮区特殊教育学校，第一次接触到听障学生。“没有手语翻译，怎么才能和听障者顺利沟通？”那时，这个问题就在他脑海中蹦了出来。带着“想做一个东西让大家更方便地与听障人士沟通”的想法，赖水长和同年级的小伙伴一起开始了“希声”项目的开发。
“希声”的功能就像翻译词典实现不同语言间的互译一样。该系统由手机端app和外置双红外摄像头组成。记者看到，正常人与听障者进行沟通时，听障者需要将红外摄像头戴在头上，并将摄像头连接于手机，正常人则手持手机。当听障者运用手语，如表示“吃饭”时，“希声”系统通过双红外摄像头采集手势图像信息，将其翻译成日常交流的有声语言，通过手机麦克风播报；当正常人说话时，麦克风采集到语音，利用语音识别技术、数据库匹配，将自然语言翻译成手语图像，在手机屏幕上呈现。整个过程就是让抽象的语言被“看”见，让无声的手语被“听”见。
“《道德经》中有‘大音希声大象无形’，我们将系统命名为‘希声’，就是想表达真正的大音是能让听不见声音的人在寂静中感受到温暖，让不懂手语的人也能感受到来自聋哑人心中绽放的旋律。”赖水长说。
项目开展的前期困难重重，为了采集手语动作信息，“希声”团队尝试过手套、臂环等方案，但成本高昂、动作采集精度低以及穿戴不方便等缺陷使他们不得不另辟蹊径。经过几个月的尝试，他们决定使用成本低廉但精度更高的双红外摄像设备作为“希声”的动作采集装置。这一突破使“希声”能比较好地得到手指关节的特征信息。加之深度学习模式的建立和数据分析处理能力的提升，“希声”已经可以实现对部分生活场景，如指路、饭店点单等场景下的对话复现。
在第十二届iCAN国际创新创业大赛中国总决赛中，“希声”从来自全国19个分赛区的450个大学生项目中脱颖而出斩获一等奖，并获得德国国际总决赛入选资格。
“目前‘希声’项目还处于初创阶段，需要提高的地方还有不少，比如红外摄像头戴起来还不太方便，需要更小型化，数据库的搭建也需要进一步完善，未来我们团队会继续努力，希望可以早日实现商用。”赖水长说。
（来源：南京日报 编辑/马腾达）
