当前位置:主页 > 科技 >

智能识别技术,让计算机看懂世界(2)

来源:网络整理 时间:2017-10-09 15:16

项目团队首先提出了多模态分解方法,能够对包含一种或多种模态的输入数据,按照模态的不同自动分发到对应的分析与识别模块。例如,对于视频,首先进行镜头分割和关键帧提取,然后分发到镜头检索、片断检索、概念检测、视觉目标检测、人脸识别和视频字幕识别等模块。基于多模态信息的分发结果,对各模态内容分别进行分析与识别,提取文本、图像、视频镜头、视频片断、视觉对象(如视觉目标、人脸)等语义描述信息。进一步对多模态数据进行关联分析,构建多模态关联图来融合不同模态的分析结果,从跨模态关联层面纠正单模态语义描述中的错误结果,以实现多模态信息的语义协同优化。

基于上述成果,项目团队于2009年—2016年多次参加国际权威评测TRECVID的视频语义搜索比赛,均获得第一名。

管住与用好互联网大数据

“除了‘科技顶天’,在关键核心技术上取得突破,我们也追求‘市场立地’,将我们的技术实现产业化,服务于社会。这也是我们北大计算机研究所的创立者王选院士对我们的要求。”彭宇新说道。

瞄准互联网大数据 “管不住”和“用不好”这两大难题,项目团队以上述技术为核心,形成了互联网多模态内容分析与识别系统、方正智思互联网舆情监测分析系统、方正智思智能分析系统等系列产品,实现了对互联网文本、图像、视频等多模态内容的全面监测与数据利用。

项目团队的系统和产品已成功应用于国家相关部门等上百家重要单位,涵盖多个行业领域,在维护我国互联网内容安全、促进网络文化健康发展等方面发挥了巨大作用。