读唇语软件识别准确率远超人类
“动动嘴皮子”,AI就能知道你在说啥
可以想见,由于公益、公共安全、国家安全等领域巨大的潜在需求的牵引,以及AI技术飞速发展的强力推动作用,在不久的将来,AI读唇语有望实现快速推广与深度普及,产业前景十分可期。
——闫怀志 北京理工大学计算机学院副教授、网络与安全研究所所长
虽然电视剧《狂飙》已经迎来了大结局,但热度仍然没有丝毫减弱,有的网友利用剧中人物创作娱乐视频,也有的网友剪辑其中精彩片段。不过,还有一些“较真”的网友,发现《狂飙》中的一些人物对话,配音和嘴型对不上,于是便想通过人工智能进行唇语识别,还原最初的剧本情节。
然而,AI读唇语并非只能被用于破译“隐藏剧情”。据统计,我国听力残障人口超过2054万,除了主要的手语交流外,读唇语也是他们重要的沟通方式。但人工解读唇语容易受到个人经验、视觉感受能力、语言理解能力等因素影响,在正确率方面差强人意,于是人们开始尝试利用AI技术来解读唇语。
比唇语专家更懂唇语
“所谓AI读唇语,即人工智能唇语识别,其核心技术框架为视觉识别和自然语言处理。”北京理工大学计算机学院副教授、网络与安全研究所所长闫怀志介绍道,具体而言,就是利用机器视觉技术,将人脸从图像中连续识别出来,并提取其中连续的口型变化特征,输入至唇语识别模型,辨识出该人物口型对应的发音,进而输出可能性最大的表达语句。
“视觉识别和自然语言处理分别有着庞大的技术体系和不同的技术路线,但究其本质,都是通过大量的唇语数据来训练AI模型,力求文本输出的准确性。”闫怀志补充道。
近几年,不断有AI巨头开始在唇语识别赛道上作出尝试。谷歌旗下Deep Mind公司就与英国牛津大学合作,研发出了一款AI读唇语软件,通过让AI读唇语软件“收看”数千小时的电视节目来训练其唇语识别能力。有意思的是,在随机抽取200个视频片段的读唇语测试中,AI读唇语软件的准确率达到了46.8%,而经过专业训练的人类读唇语专家,准确率仅为12.4%。
为何AI读唇语能够悄然兴起?闫怀志给出了自己的分析:一是强烈的需求牵引,二是巨大的技术推动。从需求牵引来说,唇语识别不仅可为部分残障人士提供方便,更可以在公共安防等诸多领域发挥巨大作用;从技术推动来说,由于AI算法、算力以及数据瓶颈被不断突破,使得AI技术在唇语识别领域取得较大成功成为现实。
众多难题有待突破
不过,闫怀志也表示,目前我国人工智能唇语识别技术尚处于起步阶段,若想利用人工智能准确地识别唇语,还有很长的路要走。
从语言本身来看,人类语言具有较高的复杂性,在人类话语所涉及的所有音标中,仅有30%左右是直接由人类嘴唇来控制的,70%是难以通过肉眼,甚至是机器视觉区分的齿音、舌音以及喉音。而且,不同人说话的语气、方言、连词、口音,乃至胡须遮盖等因素,都会导致嘴型的细微变化,而恰恰是这种细微变化,会严重影响人工智能对于唇语的识别和判断。
从技术层面来看,人工智能采集唇语的环境通常较为复杂,若想精准识别难度很高。以目前的人工智能技术而言,对于长句、复杂句式等的识别水平不尽如人意,更不用说还存在着多场景识别、多人像唇语识别等问题。
闫怀志表示,只有解决了上述问题,AI读唇语才能得到突破性提升,迈向成熟发展阶段。
人类不同语种之间千差万别,AI能读懂每个语种的唇语吗?
闫怀志介绍,此前较为成功的AI读唇语系统大多仅限于英语模型,这是因为多数AI模型都是基于英语数据训练而得。但是,从技术框架上来说,不同语种的训练模型是基本一致的,或者说可以依赖于同一类技术手段来实现。
当然,为了适应不同语种的唇语识别,也需要作一些适应性调整:一方面要选择对应语种的数据进行有针对性的训练;另一方面,还需要对AI模型进行调整,比如纳入时间屏蔽、优化语言模型以及改进超参数等。
此外,同一语种也会有不同口型,即便口型类似,也可能代表着完全不同的意思。因此,成熟的AI读唇语系统需要大量的唇语特征样本数据,并尽可能地覆盖多种应用场景、多类型的说话人群,借此来提升训练后的唇语识别模型的泛化能力,提高AI读唇语对于不同口型和不同表意语言的识别准确率。
亟须监管的技术双刃剑
尽管存在种种难题,但仍有越来越多的AI企业开始涉足并计划深耕人工智能唇语识别赛道。目前来看,各大AI巨头的选择不尽相同,具体可分为唇语数据、唇语视频识别、唇语理解等。
闫怀志也表示,目前许多人工智能唇语识别技术领域已实现初步突破,全链条集成前景可期,产业集群正在逐步形成。
从应用场景来看,AI读唇语在社会公益、公共安全等领域都已开始崭露头角。从目前各大巨头的布局以及相关技术的发展趋势来看,AI读唇语预期可在身份识别、国家安全、智慧系统等方面具有广阔的应用前景。“可以想见,由于公益、公共安全、国家安全等领域巨大的潜在需求的牵引,以及AI技术飞速发展的强力推动作用,在不久的将来,AI读唇语有望实现快速推广与深度普及,产业前景十分可期。”闫怀志说。
例如,在安防安监领域,很多安监场景噪音较大或仅有视频信号,无法准确捕捉声音,人工智能唇语识别技术就能派上用场;在身份识别领域,可以利用AI读唇语来实现口型支付密码输入,“动动嘴唇”就能实现身份识别和支付交易;在公共安全领域,利用AI读唇语,可以在各类视频中分析案件当事人的唇语信息,辅助案件侦查工作;在智慧系统领域,可利用AI读唇语来实现“无声胜有声”——只依靠口型来控制智能设备,比如智能家电等。
当然,技术应用是把双刃剑。很多人担心,AI读唇语会使人们对话中的隐私内容遭到泄露,无论当事人是公开发言、窃窃私语或是自言自语。“张张嘴”就被别人窃取聊天内容,仔细想来确实可怕。
闫怀志表示,这种担心并非杞人忧天。AI读唇语导致的隐私泄露,一方面可能是有人恶意进行唇语获取识别,另一方面也可能是正常使用的AI读唇语系统,但其中的存储、使用等环节保护不当,导致相关数据被窃取或滥用,进而对个人权益造成损害。而且,由于涉及到当事人的对话内容,具有明显的方向性,这种隐私泄露的危害性可能要比普通的个人信息泄露更为严重。
因此,闫怀志建议,应从隐私安全保护的角度,在管理层面加强相关法律法规的制定,严格规范和约束AI读唇语的应用场景、范围和目的,加大对技术恶意利用的监管和惩戒力度。此外,还要在技术层面加强AI读唇语系统的安全保护体系建设,以技术手段提高系统的识别精准度,避免技术滥用,切实保障用户对话的内容安全。(记者 翟冬冬)
2023年全国两会召开在即,环境资源界别将首次亮相全国政协大会。新一届全国政协委员逾2100人,新设环境资源界别有80余人,其成员包括环境资源领 ...
这信心,源自砥柱中流,在以习近平同志为核心的党中央领导下,全党全国各族人民团结奋进,中国经济航船乘风破浪向前。当前,全球产业结构和布局深度调整, ...
2023年全国两会召开在即,环境资源界别将首次亮相全国政协大会。新一届全国政协委员逾2100人,新设环境资源界别有80余人,其成员包括环境资源领 ...
这信心,源自砥柱中流,在以习近平同志为核心的党中央领导下,全党全国各族人民团结奋进,中国经济航船乘风破浪向前。当前,全球产业结构和布局深度调整, ...
2018年,中国社会科学院文学研究所研究员刘宁当选第十三届全国政协委员,5年来,她的提案倾注着对人文和现实问题的关切。
记者2月28日获悉,由闽江学院师生参演的我省原创歌剧《鸾峰桥》在中央歌剧院演出,向首都人民展现福建文艺的新面貌。
记者昨日从省文旅厅获悉,2月28日开始,我省原创歌剧《鸾峰桥》、交响音画《海峡海峡》等作品,将进京参加文旅部“新时代舞台艺术优秀剧目展演”集中示 ...
国家艺术基金2022年度大型舞台剧和作品创作资助项目——由福建省梨园戏传承中心排演的新编梨园戏《促织记》,25日和26日在泉州梨园古典剧院首演。 ...
在前不久公布的第十六届精神文明建设“五个一工程”奖中,由福建出品的电视剧《山海情》《绝密使命》《爱拼会赢》及纪录片《柴米油盐之上》入选,获奖数量 ...
近日,电影《油菜开花七寸心》开机仪式在三明泰宁县隆重举行。该电影的摄制将全方位、多视角展现泰宁厚重的红色文化、独特的自然资源,填补泰宁红色文化在 ...
近日,电视剧《执行局》杀青特辑火爆出圈,2分50秒的杀青花絮,随处可见泉州元素——片头出场就是泉州市中级人民法院大楼身影,还有泉州的标志性桥梁— ...
2月18日晚,第十六届小康电视节目工程荣誉盛典在福建省宁德市举行。该活动旨在激发新时代电视艺术创造活力,助力全面推进乡村振兴。
2月10日晚,新福州人歌手大赛颁奖盛典在九日台音乐厅举办。陈伟鹏、宋贝仪等18名经过层层选拔脱颖而出的金、银、铜奖选手,为现场观众带来《家乡的榕 ...
近日,有网友指出,《狂飙》里毒贩“钟阿四”的扮演者,在现实生活中可能真的是涉毒人员。扮演者原名为含笑,曾是一名歌手,2009年吸毒被抓。后来改名 ...
2月11日19时30分,CCTV15音乐频道《全球中文音乐榜上榜》节目播出了由刘洺君演唱的福文化原创歌曲《最醉》(又名《家乡的榕树》)。据悉,《 ...
日前,梦想新声音·第十四届海峡两岸电视主持新秀会在福州新区落幕。经过两个多小时的交流切磋,肖威龙(厦门理工学院)、陈妤蒨(台湾世新大学)、纪羽柔 ...
2月6日晚,以《朱子家礼》为范本、结合现今尤溪民间风俗创编的大型歌舞情景剧《朱子礼乐·儒风雅韵》,时隔两年后重上舞台,让尤溪观众再次感受朱子文化 ...
京剧《林祥谦》由福建省文化和旅游厅、福建省总工会出品,福建京剧院创排,省著名剧作家林瑞武与青年编剧饶晓编写剧本,韩宁执导,国家一级演员张萌饰演林 ...
“百花开放好春光,采茶姑娘满山岗……”2月5日,龙岩民歌《采茶灯》亮相2023年中央电视台元宵晚会舞台。
除夕夜,以世界级非遗南音为底色的创意歌曲《百鸟归巢》惊艳四方,并被誉为“今年春晚最具文化价值的节目”,来自泉州师范学院、厦门市南乐团和泉州市南音 ...
记者2日从海峡文化艺术中心了解到,2月份国内多个顶尖文化艺术团队将在该中心上演音乐剧、悬疑剧和音乐会,这其中包括《人间失格》《维罗妮卡的房间》《 ...
一江一岸,放歌随行;一台一曲,一城倾听。1日晚,由福州市文旅局主办的“福满新年·相约闽江边”音乐嘉年华,在福州“闽江之心”海丝广场正式开启,活动 ...
辞旧迎新之际,一场别开生面的平讲戏——《廊桥趣医·同德同心》,日前在福州市台江区青年广场上演,闽味十足的表演为首届“福”文化嘉年华活动增色添彩。 ...
1月14日,在第十一届柴可夫斯基国际青少年音乐大赛钢琴组比赛中,年仅15岁的中国选手倪晨哲荣获第二名。
国家电影局28日发布的统计数据显示,2023年春节档票房达67.58亿元,取得我国影史春节档票房第二的成绩。其中,《满江红》以26.06亿元票房 ...
欢歌笑语辞旧岁,福见好戏贺新春。新春佳节里,福建省实验闽剧院来到中国传统村落——福建省宁德市古田县珠洋村,为珠洋村及周边十里八村的乡亲们送上三台 ...
1月28日,“戏曲进基层 闽韵传经典”新春曲艺七天乐在上下杭舒叙茶馆落下帷幕。本次活动由台江区文化体育和旅游局主办,邀请文化名家,以福州传统曲艺 ...
除夕夜,莆仙戏登上央视春晚舞台,莆仙戏名角黄艳艳和吴清华在节目《华彩梨园》中为观众演绎了《踏伞行》第四折《共渡》的精彩片段。古朴隽永的表演和风味 ...
1月18日,在福州中国船政文化城核心区开园仪式上,由三湘印象打造的首个折叠渐进式演艺项目——《最忆船政》,携手2022北京冬奥会核心主创黄辉共同 ...
以福建寻常巷陌和山川大海为背景,由省委宣传部、省广电局、省文旅厅和省广播影视集团主办的春节特别节目《山海福地·福气来——2023福建新春福气夜》 ...
1月10日晚,“我们同唱一首歌”闽南语原创歌曲歌手大赛十五周年金曲音乐会在厦门小白鹭艺术中心金荣剧场圆满落幕。据悉,音乐会以丰富的闽南语原创歌曲 ...
中央广播电视总台制作的六集电视专题片《长征之歌》将于11日起在央视综合频道晚间播出。本片以长征国家文化公园建设为依托,力求通过讲述长征故事弘扬长 ...
10日晚,曾见证八闽古都百年风华的福州文庙,邂逅了一场国风大典,以历史为根,链接时代之潮,2023中国·福州新春文化旅游月由此正式开启。现场发布 ...
1月10日晚,由福建省委宣传部指导、福建省电影局主办、福建省电影发行放映有限公司承办的“唱响光影旋律,奋进辉煌征程”主旋律电影歌曲专题音乐会在福 ...
近日,由知名作词人贞尧仔作词,知名音乐人、福建省音乐家协会副主席蒋舟作曲的原创歌曲《神医》,在闽侯县文化馆的组织下完成演唱录制。同时,闽侯县融媒 ...
这位不满26岁的年轻人是否还能更进一步?对于这一疑问,无论王嘉男的中方主管教练还是田径界专家都显示出信心,认为他还有不小的上升空间。
世界乒乓球职业大联盟(WTT)冠军赛布达佩斯站18日在布达佩斯奥林匹克中心拉开战幕,中国选手马龙轻松晋级,陈梦逆转胜出。
2023女足世界杯是该赛事第一次扩大为32支球队参加,由澳大利亚和新西兰联合举办。根据赛程,揭幕战将于7月20日在奥克兰上演,决赛将于8月20日 ...
国家体育总局排球运动管理中心10日发布了《体育总局排球中心关于选聘国家女排主教练的公告》,中国女排新任主帅的选聘工作正式启动。
根据赛程,四个小项的短节目和韵律舞比赛将于14日展开,15日进入自由滑和自由舞比拼,16日则将按照国际赛事惯例进行表演滑。
智库邀请权威学者和知名医师加入,以公益、医疗和科研为三个抓手,旨在充分发挥专家的社会影响力和专业权威性,倡导科学的健身理念,以体育促进大众身心全 ...
“看人,要找人防守,上来阻挡一下。”在广西天等县小山乡中心小学的运动场上,体育老师张世强盯着队员们训练时的跑动情况,不时提醒。
第18届建桥杯中国女子围棋公开赛本赛27日在浙江长兴大唐贡茶院揭开战幕。不久前刚获得全运会混双冠军的老将芮乃伟九段首轮爆冷不敌赵贯汝,被淘汰出局 ...
哈萨克斯坦奥林匹克委员会国际司司长阿利姆然·阿卡耶夫24日表示,针对北京2022年冬奥会和冬残奥会的备战工作正在哈萨克斯坦全面展开,希望哈国运动 ...
第十四届全国运动会体操比赛在陕西奥体中心体育馆展开男子个人全能决赛争夺。带伤上阵的北京队队员肖若腾以完美表现应对多位年轻对手冲击,最终以总成绩8 ...