河大附中校友王娜娜成功研发手语翻译器

24.05.2017  06:13

王娜娜(新闻周刊人物右)

中学时的王娜娜(左一)

继2017年5月9日《中国青年报》专版刊载文章《以爱的名义 北航清华女学霸研发手语翻译器》报道河大附中2011届优秀毕业生王娜娜后,央视CCTV13新闻频道在5月20日晚的[新闻周刊]本周人物节目中,又再次专题报道王娜娜与她的“手音”团队。

为了失语好友,让手语发音的“美丽天使” 

手音”创始人王娜娜领衔的团队经过两年的艰苦努力成功研发出了手语翻译器。该款手语翻译器依靠穿戴在手臂上的手环来捕捉手部运动的肌电信号,并将信号转化为文本或语音,达到帮助我国近7000万失语者进行日常交流的目的。

在节目中,王娜娜说:“因为我的一位失语朋友,激发了我研发手语翻译器”。事情的起因是这样的,在一次活动上,王娜娜认识了北京联合大学特殊教育学院毕业的失语者张权,并成了好朋友。因为王娜娜不会手语,这两位朋友即便见面也往往会用微信进行沟通。回到宿舍,王娜娜把张权的故事告诉了黄爽。她们此后认识了更多的失语者,也愈发感到沟通的困难。“有时我觉得我说话是在‘伤害’他们,一聊得开心就在想是不是忽略他们了,甚至有些自责。”王娜娜说。

与失语者的沟通障碍,让王娜娜产生了思索。也开始热心关注失语者这类特殊人群,并思考着为他们做点什么。王娜娜与同学黄爽想到了参加“冯如杯”(冯如杯为北航校内学生学术科技作品竞赛)时的图像识别项目,当时这个项目获得了一等奖,或许可以用这种技术帮助失语者。王娜娜回忆:“我们感觉发现了一个没有人发现的需求,想成为第一个实现它的人,也让我们所学的知识更有价值。

于是,她俩着手研究手语翻译的可行性,开始查论文、做实验、写代码,用冯如杯一等奖奖金5万元作为启动资金行动起来。图像识别被否决了,因为不能随时携带摄像头;手套被否决了,因为太引人注意,最终确定了通过臂环捕捉肌电信号的方法。因为智能手表逐渐普及,失语者带着臂环看上去并不突兀。

为了产品的适用与方便,亲自体验失语

王娜娜说:“产品的一次次迭代,为的是要保护失语者的尊严。”为了研发的产品适用与方便,“手音”团队做过“体验一天失语者”的活动。在便利店,因为结账时需要了解价格,失语者只能通过手机和店员沟通,时间稍长排在后面的人开始不耐烦地催促。“如果别人知道我是失语者可能会体谅,但不知道就会埋怨,越埋怨我越着急。” 

确定研发方向后,关键是不断地输入数据、调试数据以保证手语翻译的准确性。为了检验模型的可靠性,最初只有两个人在录手语的数据,整天戴着臂环不停地做动作。为了保证数据的多样化,并且真正让失语者喜欢,她们后来联系了天津理工大学聋人工学院,合作进行数据采集和智能臂闭环开发,还与北京市朝阳区残联达成合作意向,为“手音”的产品服务化提供咨询、指导。

如今,“手音”涵盖了200个手语动作,为了保证精确度,每一个动作录制了1000人次。在有了自己的手势数据库之后,团队还搭建了一个7层BP神经网络(一种按误差逆传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一)对数据速度进行训练,目前识别准确度已经达到95%。在百度与联合国开发计划署共同主办的“极•致未来”责任创新挑战赛上,“手音”团队获得了一等奖和最佳人气奖,被誉为最有“包容性”的项目。

附中会玩会学会工作的优秀学子

据王娜娜的附中班主任欧阳亮老师回忆,王娜娜属于既会学、又会玩、还会工作的同学,是落实河南大学附属中学培养目标成绩优异、创新潜质、特长发展和社会责任的优秀典范。

附中三年,成绩一直名列前茅,2010年获得高中化学全国联赛一等奖,2011年以661分的优异成绩被北京航天航空大学录取。后来在北京航空航天大学继续读研。她不是死读书的那类好学生,她在学好的同时也很会玩。在学校和班级组织的活动中,总少不了她的身影。欧阳亮老师说:“在活动中,她总有奇思妙想,总能给大家意想不到的惊喜。有一次,班级与联通公司组织联谊活动,其中有一个节目,需要黑色风衣作道具。但是,临时找不到合适的。这把同学们急坏了。王娜娜却笑呵呵的说她有办法,大家不用急。经过了一个晚上的等待,第二天一早,王娜娜真拿来了一件“黑色的风衣”。不过令大家眼前一亮的是,这是一件黑色的“塑料风衣”。原来,王娜娜花了一个晚上的时间用废旧的黑色塑料袋自己缝制了一件“黑色风衣”,既为班级解了燃眉之急,又体现了环保精神。”

除了会学习、会玩之外,王娜娜还是一名尽职尽责的班干部。在校三年,她担任过宏志班班长、学习委员、生活委员和年级学生会干部。班主任和科任教师对王娜娜的评价是:“工作有方法、有担当、认真负责、关爱同学。