我国学者开发AI手语翻译系统 帮助听障人士更加便利的与他人沟通
哈萨克斯坦欧亚大学人工智能技术系高级讲师努尔扎达·阿曼格勒德从事这项工作已有5年时间。
经过这些年的不断努力,她和她的团队已经成功地实现了最初的目标。
借助这套全新的AI手语识别和翻译系统,平时使用手语的有特殊需要人士与不了解手语的其他人士,将能够更加方便快捷的实现无障碍沟通交流。
该AI手语识别系统基于哈萨克语开发。使用时,能够通过麦克风识别对话者的自然语言,并通过3D建模方式,将自然语言转化为手语,并展示给手语使用者;随后,通过摄像头捕捉手语使用者的手语手势,再将这些手语转化为文字,展示给对方。
这个项目是独一无二的。目前,努尔扎达·阿曼格勒德已在国际刊物上发表了3篇学术文章,证明了其独特性。
这位学者表示,对社会上有特殊需要的人群而言,有必要创造便利的条件,使他们能够毫无压力地在国家机构、教育和医疗机构接受公共服务。因此,实现这个项目的商业化是很有必要的。
据努尔扎达·阿曼格勒德介绍,项目团队目前已经向哈萨克斯坦科学基金申请了融资支持,并提交了四个产品,包括:字母训练模拟器、单词训练模拟器、移动应用程序以及手势识别和生成系统。
团队目前还在继续对这套AI识别和翻译系统进行完善工作。
努尔扎达·阿曼格勒德强调,每一个手语单词都要在摄像头前重复进行百次以上,而由于单词库很大,每个人的动作习惯也有细微差异,因此目前还需要完善的工作量是巨大的。
学者表示,她需要至少5名手语方面的专家,以更好地对人工智能系统进行大量的重复训练,使其能够更好的识别不同的人在使用手语进行表述时的手势动作,确保翻译的精准无误,同时还需要录入更多的手语单词。
除了帮助特殊需要人士进行便利的沟通以外,这个系统还能够帮助相关机构快速的培训手语人员。
哈萨克斯坦聋哑人协会对该项目予以了高度关注。协会副主席詹格尔迪·贝克巴蒂洛夫表示,当前政府机构会为聋哑人提供60小时的免费手语翻译服务,但这显然是无法满足社会需求的。因为不仅仅是政府机构内,聋哑人在医疗机构、教育机构等设施中,都会经常性的面临相应的需求。
目前哈萨克斯坦有32 000多名语言和听力障碍者。遗憾的是,这些人士在接受充分的教育和工作方面存在着很多障碍。专家指出,随着这套全新的AI手语翻译系统不断改进完善并推向社会,将有望弥补这一差距。
【编译:木合塔尔·木拉提】