人工智能模型消化80小时的视频以学习手语
2023-05-25 10:58:37来源:cnBeta
对于聋人和重听者来说,像Alexa和Siri这样的语音识别技术反而可能是有效沟通的障碍。研究人员利用人工智能开发了一种将手语转换为文本的工具,可能会增加聋人社区的包容性和可及性。
翻译手语需要精确理解手语者的姿势,以产生准确的文字转写。巴塞罗那超级计算中心(BSC)和加泰罗尼亚理工大学(UPC)的研究人员利用人工智能开发了一种改进手语翻译的工具,这是允许聋人和重听者与技术互动并获得为口语设计的数字服务的重要一步。
研究人员使用了一个转化器式的机器学习模型,与ChatGPT等其他人工智能工具背后的模型类似。变压器之所以有用,主要有两个原因。第一,这些模型特别善于学习如何应用上下文,这是因为架构中存在自我注意机制--自我注意是神经网络如何通过查看文本中的其他词汇来确定词汇的上下文。其次,当从训练实例中学习时,它们允许更快的吞吐量,使更多的训练数据在特定时间内被使用。
这里的训练数据集来自How2Sign,这是一个公开可用的大规模、多模态和多视图数据集,包括80小时的美国手语教学视频和相应的英语文字记录。
该研究的主要作者Laia Tarrés说:"所开发的新工具是以前同样由BSC和UPC发布的名为How2Sign的出版物的延伸,在那里,训练模型所需的数据(超过80小时的视频,其中美国手语翻译人员翻译了烹饪食谱或DIY技巧等视频教程)被公布。有了这些已经可用的数据,该团队开发了一个新的开源软件,能够学习视频和文本之间的映射。"
对于研究人员来说,使用连续签名的视频而不是孤立的签名是很重要的,因为它更真实地反映了说话者是如何自然地使用一连串的词(连接)来构建句子的,这对确定一个句子的含义是至关重要的。
研究人员面临的一个挑战是手语的多变性和复杂性,它可能受到诸如手语者的背景、背景和外表的影响。为了在这方面有所帮助,他们使用膨胀式三维网络(I3D)对数据进行了预处理,这是一种视频提取方法,对视频进行三维过滤,允许直接从视频中获取时空信息。
研究人员发现,文本预处理也大大改善了签名到文本的翻译。为了预处理原始文本,他们将其全部转换为小写字母,从而降低了词汇的复杂性。
总体而言,他们发现他们的模型能够产生有意义的翻译,但并不完美。"研究人员说:"虽然我们的工作显示出有希望的结果,但仍有改进的余地。
由于该模型仍处于实验阶段,研究人员将继续努力创建一个工具,使聋人和重听者能够获得与无听力损失者相同的技术。
Tarrés说:"这个自动手语翻译的开放工具是对关注无障碍环境的科学界的宝贵贡献,它的发表代表了向为所有人创造更具包容性和无障碍的技术迈出的重要一步。"
该研究报告在线发表在arXiv上。
责任编辑:hnmd004
- 人工智能模型消化80小时的视频以学习手语2023-05-25
- 如果信用卡逾期了怎么办呢?支付宝信用卡还2023-05-25
- 成交额多少的股票适合买?股票成交金额越大2023-05-25
- 如果信用卡逾期了怎么办?临时额度可以分期2023-05-25
- 工行visa信用卡怎么用?工行visa信用卡怎么2023-05-25
- 吊秤日常怎么维护保养?电子吊秤怎么校准?2023-05-25
- 企业所得税汇算清缴什么时候报送?企业所得2023-05-25
- 离婚孩子抚养权能变更吗?可以变更的法定情2023-05-25
- MateX3典藏版如何分屏 matex3典藏版和普通2023-05-25
- 股票短线是多少天?炒股短线中线长线各是多2023-05-25
- 信用卡逾期名下有房子能转移吗?信用卡分期2023-05-25
- 不得用考试选拔学生 义务教育拒绝“挑三拣2023-05-25
- 一季度中国大陆PC市场出货量是多少?同比有2023-05-25
- 股票价格变化跟公司有关系吗?刚被st的股票2023-05-25
- 强令违章冒险作业罪和重大责任事故罪的区别2023-05-25
- 摄影师用4小时曝光捕捉到北极星附近隐藏星2023-05-25
- 标准差计算公式是怎样的?标准差是什么意思2023-05-25
- 国债逆回购是买涨还是买跌?28天国债逆回购2023-05-25
- 营业执照查询方法是什么?个体户怎么办理营2023-05-25
- 银行信用贷款怎么贷?信用贷最容易批的银2023-05-25
- 夫妻已离婚去世后的财产怎么分配?夫妻已离2023-05-25
- 借呗是哪个银行放款?借呗无力还款最佳处理2023-05-25
- 股票超大单是多少?股价跌破净资产意味着什2023-05-25
- 华严洞是怎样的景点?华严洞内有哪些景观?2023-05-25
- 代偿是什么意思?代偿期和失代偿期区别2023-05-25
- 股票补缺口是啥意思?融资利率一般是多少?2023-05-25
- 婚姻登记条例第五条的内容有哪些?办理结婚2023-05-25
- 信用卡逾期1个月怎么办?信用卡逾期被起诉2023-05-25
- 什么是毛利率法?毛利率法计算公式是什么?2023-05-25
- 建筑工程合同的特点有哪些?施工合同的内容2023-05-25