认知到理解– ImageNet挑战赛后的新挑战 .pdf

认知到理解 – ImageNet挑战赛后的新挑战 刘曦 慧川智能 ImageNet • ImageNet – 图片的数据集：从网上收集的1400多万张图片 – 人工标注2万多个分类 • ILSVRC – 训练数据为120万图片，1000类别 ILSVRC结果 人的错误范围 摘自ImageNet - Where have we been? Where are we going? What’s Next? - 认知层面 • 更精细的认知任务：精细化物体识别，检 测，分割，跟踪等 – 比如：具体车型识别，小物体检测分割，实 时物体跟踪 What’s Next? – 理解层面 • 图像理解 – 物体，行为动作，场景，属性，人物等 – 它们之间的关系 • 视频理解 – 基于图像理解 – 时序上下文承载更多的信息量 智影– 用视频讲述你的故事 • 信息的获取和传递方式 文字 图片 视频 • 智影：文字到视频的自动转换 智影应用场景– 助手 Q: 想下个月和家人去越南 芽庄旅游，有哪些地方可 以去的？ A: 吃的。。。 住的。。。 玩的。。。大教堂，什么电影 在这里拍摄 智影应用场景– 自媒体 67%文章适合生成视频 智影技术框架 大黑牛 李晨 张静初 张静初 唐山大地震 唐山大地震 知识图谱 大黑牛。。。2010年，他 接了《唐山大地震》，电 影里搭档张静初，两人饰 演了一对跨越生死的姐 弟。。。 范爷 范冰冰 金锁 还珠格格 。。。从还珠里的小丫鬟 金锁，再到今天叱咤娱乐 圈的范爷。。 面临的挑战：如何定义好与不好？ • 如何评估输出的结果？ • 建立基于人的评估体系：每个人对结果的判断不一致 • 算法的迭代速度会受到影响 • 现阶段仍然处于早期，算法迭代效果增强比较明显 • 如何定义端到端的损失函数 • 无法训练端到端模型 面临的挑战：抽象vs 具象 • 语言常常是抽象的，而画面常常是具象的 – 从相对差异化小的的领域入手：明星影视娱乐，旅游等 – 建立抽象具象关系之间的关系图谱