索尼「无声语音识别」大法:脖颈贴合传感器,AI 转换皮肤震动信息

摘要:北京时间20200403关于【索尼「无声语音识别」大法:脖颈贴合传感器,AI 转换皮肤震动信息】的具体情况和说明,让www.sytyymj.cn新闻频道的以图文形式为您慢慢道来。

如今,对于听力有障碍的群体来说,听不到的声音,可以触摸到了。

“触摸”听不到的语言,是由东京大学和索尼计算机科学研究所(CSL)共同研发的 AI 系统「Derma」实现的。有了 Derma 系统,只要在喉咙周围的皮肤上贴上传感器,利用喉咙和下颚的皮肤震动,就能将口形转化为语音。

可“触摸”的语言

根据病症的严重程度,现阶段治疗听力障碍的主流手段包括:药物治疗:通过静脉点滴或局部滴药(如激素、抗菌素、抗病毒药物等)消退炎症,使听力尽快恢复;手术治疗:主要针对外、中耳畸形、各种压迫咽鼓管疾病、耳外伤等进行手术;仪器辅助:如助听器(听力损失程度≤80dB)、人工耳蜗(听力损失程度>80dB)。

其中,人工耳蜗植入是当前让重度、极重度耳聋患者恢复听力的唯一有效办法。

雷锋网了解到,早在 1957 年,法国科学家首次将电极植入一位全聋病人的耳蜗内,使该患者感知到周围的环境音。直到上世纪 90 年代,人工耳蜗进入临床应用阶段,给极重度耳聋患者带来了“新生”。

实际上,人工耳蜗的发展离不开电子技术、计算机技术、语音学、电生理学、材料学、耳显微外科学的发展。在这些学科兴起、发展之前,针对听力障碍患者,科学家给出的应对措施是一种叫做 Tadoma 的触诊唇读法。顾名思义,这种疗法是指——听力障碍患者通过用手指触摸说话者的嘴唇、下巴、脖颈处,读取说话者想表达的内容。

而上述日本团队研发 AI 系统 Derma 的灵感,最初正是源于 Tadoma。

通过机器学习将 Tadoma自动化

该团队的设计其实就是将 Tadoma 疗法的过程通过机器学习自动化了。

就其原理而言,如下图所示,在喉咙周边的皮肤上贴上一个加速度/角速度传感器,获取无声发声时下颚、舌肌运动引起的从下颚到喉咙的皮肤颤动信息,采用深度学习进行分析识别,最终实现将无声语音转换为语音输入的无声语音交互(Silent Speech Interaction,SSI)。

雷锋网注意到,该传感器可获取 12 维的皮肤运动信息,深度学习可以分析、识别 35 种发声类型。实验表明,识别皮肤颤动信息的精准度超过 94%。

值得一提的是,研究团队训练模型用到了连接时间分类(Connectionist Temporal Classification, CTC)。

实际上,在训练语音识别器的过程中,受说话者语速等因素影响,将输入与输出对齐是一个难点。为解决这一问题,连接时间分类就派上用场了。

就其外形而言,与现有的一些无声语音交互设备相比,这一设备体积小、重量轻、并不显眼。此外,这一系统耗电量低,不易受到环境亮度等因素的影响,不会影响到佩戴者的正常生活,可以说是非常实用了。

另外研究团队表示,经转换后的语音合成不仅可以输入到具有语音识别功能的数字设备(语音助手),同时也能帮助有语言障碍的患者进行交流。

将来,该团队的研究方向则是可穿戴电子设备和体内嵌入式计算集成。

基于 AI 的无声语音交互

近年来,无声语音交互领域方兴未艾,当前产业和学界在该领域的思路主要有 2 条——通过感知气流识别话语(气流采集)和通过感知肌肉运动的方式识别话语(EMG 信号采集)。以下是该领域发展的大致时间线:2009 年,麻省理工学院感知交流组研发的触觉设备能够克服读唇语无法清晰识别的障碍,成本比人工耳蜗植入手术低几个数量级;2016 年,牛津大学人工智能实验室、谷歌 DeepMind 和加拿大高等研究院(CIFAR)联合开发了结合深度学习技术的唇读程序 LipNet;2016 年,DeepMind 经 1 万小时的新闻视频训练,将 AI 唇读准确率提升至 46.8%;2019 年,世界知识产权组织公布了微软申请的“无声语音输入”(Silent Voice Input)专利,丰富了“机器听懂人话”的场景;2020 年 3 月,浙江工业大学、中科院计算技术研究所智能信息处理重点实验室及中国科学院大学共同提出了在局部特征层和全局序列层上引入互信息约束,增强口型特征与语音内容的关系,将计算机唇读精度提升至 84.41%。

实际上,无声语音识别不仅可以帮助有听力、语言障碍的人群,也适用于包括灾害现场、舱外探索、水下作业、工厂车间在内的场景。

不过,无声语音交互设备要想真正成为消费级产品,还需打磨。正如微软全球资深技术院士、微软云与人工智能事业部负责人黄学东博士曾表示:公开的测试、已发表的学术文章,虽不能与现实完全割裂,但相比消费级产品与商业场景,仍需要不一样的评判标准。

关于索尼 CSL

正如上文所述,Derma 由东京大学和索尼 CSL 共同研发。

在中国人民大学出版社 2011 年出版的一本名为《索尼研究所的经营哲学》的书中,索尼 CSL 董事长所真理雄便讲述了索尼 CSL 的经营管理理念。所真理雄写道,索尼 CSL 遵循“小即是美”的经营理念,坚持不扩大规模,因此诞生了众多的“异类和天才”,同时也支持人才的“流通”。

雷锋网了解到,索尼 CSL 成立于 1988 年,作为索尼公司的“创新工厂”,广泛关注计算机科学、生命科学、脑科学和经济学等多个领域。当前索尼 CSL 的研究方向包括「全球议程」(涵盖从能源到食品和医疗保健的问题)、「人类增强」(包括探索人类创造力和人机交互/集成的研究)与「网络智能」(AI)。

2019 年 11 月,索尼宣布成立索尼 AI 部门,以“利用 AI 激发人类的想象力和创造力” 为使命,旨在推进 AI 技术的基础研发,而索尼 CSL 总裁兼 CEO Hiroaki Kitano 便是索尼 AI 的全球负责人。

引用来源:

[1] https://www.itmedia.co.jp/news/articles/2003/18/news046.html

[2] https://www.sonycsl.co.jp/

[3] https://mp.weixin.qq.com/s/qvq2H7d0p0slydZpXWeJCQ

[4] https://baike.baidu.com/item/%E5%90%AC%E5%8A%9B%E9%9A%9C%E7%A2%8D/5155092?fr=aladdin#5

[5] https://baike.baidu.com/item/%E4%BA%BA%E5%B7%A5%E8%80%B3%E8%9C%97/250269?fr=aladdin#1


查看更多

实时推荐

伦敦举行大规模集会,抗议美政府对明尼阿波利斯骚乱处理方式
推荐 2020-05-31 20:58 914 9229
首发锐龙9 4900HS+轻薄机身,ROG幻14第二轮发售6.1凌晨开启
推荐 2020-05-31 20:58 926 2751
为了省钱买的千元手机,现在“后悔”了,用了3个月小伙怎么说
推荐 2020-05-31 20:58 475 6359
大唐地产赴港IPO:2017年净资产负债率高达1087.9%
推荐 2020-05-31 20:58 124 7364
今天上午,沈阳这个地方全面消杀
推荐 2020-05-31 20:58 102 2956
女生想要养出“干净脸”,建议坚持4个好习惯,皮肤紧致更白皙
推荐 2020-05-31 20:58 586 5261
世界无烟日丨陕艺学生“巧用烟盒”宣传健康理念
推荐 2020-05-31 20:58 520 2811
牛奶和它一起煮,堪称天然安眠剂,每天吃,8小时不起夜不早醒
推荐 2020-05-31 20:58 173 8133
中超夺冠热门,五场热身只胜一场!球迷:就这想夺冠?
推荐 2020-05-31 20:58 501 8333
周冬雨拿下金像奖后屡遭质疑,职场霸凌3连发?当事人发声大反转
推荐 2020-05-31 20:58 691 5753
袁姗姗针对文物事件道歉,表示很惭愧,以后会谨言慎行
推荐 2020-05-31 20:58 340 8532
脊髓炎中医是怎么解释的?
推荐 2020-05-31 20:58 297 9349
胎儿出生后,第一个抱的最好不是这3类人,不是迷信,有科学依据
推荐 2020-05-31 20:58 909 5333
徽州区:情满六一,关爱困难儿童
推荐 2020-05-31 20:58 226 8385
郴州六旬老人摘杨梅失足跌落河沟,消防员赶赴现场救援
推荐 2020-05-31 20:58 128 2438
南方新一轮强降雨蓄势待发 气象专家提示防范次生灾害
推荐 2020-05-31 20:58 998 7646
KPL春季赛:广州TTG.XQ 4:2 杭州LGD大鹅 晋级败者组第四轮
推荐 2020-05-31 20:58 476 888
重磅!广东“超级外援”恐离队,只因一新政策,杜锋也措手不及
推荐 2020-05-31 20:57 708 9747
每体:沙尔克已向巴萨提出请求,希望米兰达多留一年
推荐 2020-05-31 20:57 344 4132
赛会制中超是什么样的?不到3个月可完成22轮,国足将获充分时间
推荐 2020-05-31 20:57 343 5484
现代简约风,游走在潮流与格调之间的精致生活
推荐 2020-05-31 20:57 677 9395
夏季不光有连衣裙,还有时尚小衬衫
推荐 2020-05-31 20:57 240 7211
41岁章子怡生二胎后照片曝光,脱发严重头皮明显,发际线超高
推荐 2020-05-31 20:57 448 9547
诸葛亮聪明一世,但《隆中对》却有一巨大缺陷,致使蜀汉最先灭亡
推荐 2020-05-31 20:57 630 6769
儿童早餐食谱大全:六款营养米糊做法,调脾胃、促消化!
推荐 2020-05-31 20:57 513 9360
18年东决骑士打七场才晋级,乐福场均只有15分,詹姆斯什么数据?
推荐 2020-05-31 20:57 884 1003
哪届冠军含水量最高?湖人、勇士上榜,一队以弱胜强逆袭仍被质疑
推荐 2020-05-31 20:57 115 8551
东北人最爱的3种早餐,外地人表示不敢吃,网友:能吃得下才怪
推荐 2020-05-31 20:57 817 4699
六岁才“闹海” 这个品牌要解锁未来买车新姿势
推荐 2020-05-31 20:57 731 1554
真正爱你入心入骨的人,爱的表现都很强烈
推荐 2020-05-31 20:57 320 9813
利拉德或能如愿!名记曝NBA最新复赛细节,22队方案最受支持
推荐 2020-05-31 20:57 447 8197
还记得那款让情侣分手的友尽游戏吗,它的新作要来了
推荐 2020-05-31 20:57 472 1739
不嫉妒的人生,才是最幸福的
推荐 2020-05-31 20:57 658 9988
谁是21世纪最佳球员?梅西决赛56%支持率战胜C罗,一张图击毁质疑
推荐 2020-05-31 20:57 176 5207
杜兰特有可能重回勇士吗?
推荐 2020-05-31 20:57 514 2229
奥迪语音识别好用吗?听说情感很丰富,还与Siri有点关系
推荐 2020-05-31 20:57 954 5492
真作死!大庆男子市区飙车,超速、闯红灯竟然还发抖音炫耀!结果……
推荐 2020-05-31 20:57 710 3456
季中杯:尺帝赛前问好,赛中亮标搞心态,JKL:来啊,互相伤害
推荐 2020-05-31 20:57 416 1216
最精致的卫士版吉姆尼亮相!新造型帅气不输牧马人,越野更给力!
推荐 2020-05-31 20:57 722 8421
5月31日全球疫情观察:欧洲累计确诊人数超200万 52国确诊病例过万
推荐 2020-05-31 20:57 839 2257
“状元皇帝”文武双全,为何却糊涂透顶,将国家推向了灭亡之路?
推荐 2020-05-31 20:57 688 5180
原创 洪欣是骨子里透出来的美,即使老了有皱纹,穿蓝裙还是很惊艳!
推荐 2020-05-31 20:57 781 4654
让干部天天写“工作日志”,这或许只是一个美好设想
推荐 2020-05-31 20:57 596 8805
"艺术怪咖"宋徽宗,昏庸无能被天下人骂,国破家灭被金朝囚禁至死
推荐 2020-05-31 20:57 426 8248
韩信没领过军队打过仗,为何一出手连项羽都不是对手?
推荐 2020-05-31 20:57 992 4082
古钱币中,一枚由北宋史学家司马光题写的钱币,你知道吗
推荐 2020-05-31 20:56 700 1487
游记:深圳红树林一日游
推荐 2020-05-31 20:56 241 1750
蒸出来的下饭菜,带便当也一级棒
推荐 2020-05-31 20:56 186 7514
你认为谁能战胜拜仁?
推荐 2020-05-31 20:56 231 7590
国产北汽库存成灾,打折半价也无人理睬,网友:真当自己是奔驰?
推荐 2020-05-31 20:56 441 9698
鱼尾裙+穆勒鞋,长腿美足倍显气质,时尚优雅又清爽
推荐 2020-05-31 20:56 637 9767
李湘发福成这样!长裙难遮大象腿水桶腰,44岁皮肤太真实
推荐 2020-05-31 20:56 793 5035
孩子补钙用钙片?骨头汤?每天一杯牛奶除补钙外还有更多功效
推荐 2020-05-31 20:56 271 1838
李霄鹏今晚最大发现:21岁小将梅开二度,球队3球迎大胜
推荐 2020-05-31 20:56 600 7647
53岁任贤齐晒照减肥成功,油腻大叔变帅气小伙,这个运动简单有效
推荐 2020-05-31 20:56 486 3424
提大众途昂X 2.0T高功率顶配,溜背造型适合年轻人,这价格咋样
推荐 2020-05-31 20:56 222 2280
李书福发飙了!新车比奥德赛帅,配1.5T油耗3毛,网友:这车狠了
推荐 2020-05-31 20:56 475 9713
统领虎豹骑的曹纯
推荐 2020-05-31 20:56 889 4195
《谁说我结不了婚》女角们身上看到我们自己,田蕾的手段不可取
推荐 2020-05-31 20:56 390 5612
62件援鄂档案资料被征集进省档案馆永久保存
推荐 2020-05-31 20:56 123 8318
自称“府城人”称霸一方,南宁武鸣19人涉黑案开庭
推荐 2020-05-31 20:56 119 2396
她与周冬雨同出道,星途却磕磕绊绊,在幸福触手可及中圆梦了!
推荐 2020-05-31 20:56 833 4359
丽君街道九岗岭社区创建文明城市 我们在行动
推荐 2020-05-31 20:56 667 7697
面对不进球的菲尔米诺,利物浦是否应该做出改变?
推荐 2020-05-31 20:56 411 6691
湖南举行第33个世界无烟日主题活动,为青少年送上控烟“六一大礼包”
推荐 2020-05-31 20:56 510 1287
三国名将的后代中,谁最有出息?讲出来你可能不信
推荐 2020-05-31 20:56 649 8542
明孝宗朱佑樘的一大污点:宠信奸宦李广
推荐 2020-05-31 20:56 740 5693
消杀无人机、红外测温头盔、扫地机器人,深圳地铁防疫消杀有那么多“黑科技”
推荐 2020-05-31 20:56 704 4666
钟麟同:重九起义中被杀的云南清军高级统帅
推荐 2020-05-31 20:56 233 4129
罗永浩携TCL·XESS旋转智屏531抖音直播等你!
推荐 2020-05-31 20:56 564 2687
镇江五峰山大桥公路接线五标率先实现贯通
推荐 2020-05-31 20:56 436 9412
荣耀Play4官图公布,或将至少提供三款配色版本
推荐 2020-05-31 20:56 898 3746
还是老本行香?奥马电器冰箱业务盈利被5家金融科技子公司几乎亏完
推荐 2020-05-31 20:56 351 7559
OPPO新机Reno4 Pro背部渲染图现身,质感十足
推荐 2020-05-31 20:56 821 3535
时间就是生命 吕梁市交警支队事故大队为救护车辆开启绿色通道保驾护航
推荐 2020-05-31 20:56 271 6307
原创 马丽产后首亮相,穿衬衫裙气质温婉优雅,没胖反倒瘦了不少!
推荐 2020-05-31 20:55 787 1638
宝鸡市人大代表曹晓宁:争取将横渠镇打造为省级文化旅游名镇
推荐 2020-05-31 20:55 932 1565
广东梅州大埔建“南洋华人首富”张弼士博物馆
推荐 2020-05-31 20:55 947 5242
《跑男8》给足了新成员时间,首播仍是差评一片,三弊端急需改正
推荐 2020-05-31 20:55 117 5589
阿斯:巴萨准备在今夏重启与小狮子的续约谈判
推荐 2020-05-31 20:55 773 3687
女神节就做这样的美甲,也太好看了吧
推荐 2020-05-31 20:55 744 9271
年轻时吸的每支烟,年老时都会找你算账丨世界无烟日
推荐 2020-05-31 20:55 139 3815
戒烟!这篇文章读完就开始
推荐 2020-05-31 20:55 869 6383
英足总或允许2万球迷进温布利看足总杯决赛 但要满足这一条件
推荐 2020-05-31 20:55 287 4010
焦点|看西甲双雄夏窗的不同操作,一个热衷三大签,一个低调至极
推荐 2020-05-31 20:55 119 2677
为了这件“头”等大事,仙游交警、学校、街道三方联动起来了…
推荐 2020-05-31 20:55 624 8501
17-1大比分!青海足球再一次冲击职业联赛:前国脚+洋帅战业余赛
推荐 2020-05-31 20:55 671 8837
魔兽世界:打起架来自己被无限变羊,虎牙烟总:打架缺奶,太吃亏!
推荐 2020-05-31 20:55 861 5040
此物种在日本超“洋气”,在我国却如此“接地气”,给肉都不换
推荐 2020-05-31 20:55 582 4042
夏天没味口,做它最合适,酸辣开胃,一碗不够吃,不炒不炸省时间
推荐 2020-05-31 20:55 648 2116
都体:尤文愿意用鲁加尼、佩林等4人换基耶萨
推荐 2020-05-31 20:55 452 944
轻松通关有技巧,《异度神剑:终极版》战斗系统入门
推荐 2020-05-31 20:55 869 7083
蓝牙耳机推荐,这几款平价蓝牙耳机都不错
推荐 2020-05-31 20:55 919 9687
热巴不会骑摩托,当她站着踩离合时,旁边的黄景瑜都看懵了!
推荐 2020-05-31 20:55 834 1991
最“臭美”的三位生肖女,喜欢打扮自己,漂亮美丽有人爱
推荐 2020-05-31 20:55 870 6572
他们是联盟前10巨星,却拿着排名前30外的薪水!连乔丹也没幸免
推荐 2020-05-31 20:55 300 3898
凯文·杜兰特排名NBA历史第14,他所获个人荣誉有哪些?
推荐 2020-05-31 20:55 160 9216
让F-Type更帅气!捷豹设计师:我太难了
推荐 2020-05-31 20:55 465 2392
续写86U神话?新一代华硕RT-AX86U巨齿鲨WiFi 6电竞路由评测
推荐 2020-05-31 20:55 317 3832
性子太过跳脱,常常错过桃花的星座
推荐 2020-05-31 20:55 764 3774