百度深度学习进展介绍

nullnull百度深度学习进展介绍余凯百度深度学习研究院（IDL）null　　 百度十年愿景 • Annual income exceeding CNY 160 billion • Influential Chinese company in global economy • Prestigious brand in > 50% countries worldwide • One of the world’s largest new media platform 我们相信技术的力量null百度希望学术界解决的9个难题2012年8月13日，百度CEO李彦宏在国际数据挖掘会议ACM KDD上发 表演讲，提出9个希望学术界帮助解决的技术难题，其中前三项是：1. 自然图片OCR2. 语音识别和理解 3. 图像搜索null业界现状和趋势：读图时代null业界现状和趋势：读图时代null业界现状和趋势：读图时代null业界现状和趋势：语音交互null业界现状和趋势：语音交互nullGartner Emerging Tech Hype Cycle 2012nullDeep Learning Since 2006 9/16/1310null2013年十大突破性技术之首MIT Technology Review 杂志， 2013年4月23日null席卷学术届到工业届的浪潮  2012.6 “谷歌大脑”项目2012.11 微软智能同声传译null9/16/1313图像识别领域的突破 72%, 2010 74%, 2011 85%, 2012 ImageNet Challengenull9/16/13Word error oSlide Courtesy: Geoff Hinton 14错误率降低20%-30%null百度投入基础技术研发n  2013年初年会上，Robin宣布要成立研究院：我们会吸引这个领域里全球最顶尖的高手陆续加盟，为 我们新一年的产品和业务发展提供最坚实的基础！我希望百度IDL会成为像AT&T-Bell labs，Xerox PARC 这样的顶尖的研究机构，为中国，为全世界的创新历史 再添一笔浓墨重彩！null机器学习技术的两次浪潮  2010 第二次浪潮 深度学习1990 第一次浪潮 浅层学习null深度学习机制更接近人脑   DeepArchitecture in the BrainArea V4 Area V2 Area V1 RetinaHigher level visual abstractions Primitive shape detectors Edge detectors pixelsnull深度学习和人类学习的共同点 pixels 18object parts (combination of edges) edgesobject modelsDeep Architecture in the BrainArea V2 Area V1 RetinaArea V4Primitive shape detectors Edge detectors pixelsHigher level visual abstractionsnull人工智能新范式：大数据+深度学习  语音图像文字null百度在深度学习方面的进展 •  2012年夏天投入研发   •  用GPU提升计算效率，处理海量训练数据  •  语音识 ，OCR识，人脸识，图像搜索等巨大提升  •  到目前，超过8项技术在产品上线  null百度在深度学习方面的进展•  •  •  •  • 语音：错误率相对降低20-30％ OCR：错误率相对降低30％ 人脸识别：LFW测试达到世界最好结果 全网相似图像搜索：效果显著超谷歌同类产品 全流量上线广告CTR预估,显著提升广告点击率nullPooling百度用于图像识别的深度模型 9/16/1322CodingCodingPoolingPooling CodingPoolingCodingFully connectednull语音 搜索输入法地图 搜索语音 助手百度语音技术产品线null百度移动搜索-语音搜索n 中国第一个完全自主开发的中文语音搜索产品n  世界最好的中文语音搜索识别率n  2012年底，语音搜索流量占移动搜索达10%http://shouji.baidu.com/baidusearch/ null语音搜索识别准确率语音搜索2G网络响应时间中文语音搜索识别准确率For mobile search, the proportion of voice queries has grown from 1% to 10 % in 2012.null地图语音搜索http://shouji.baidu.com/map/ null移动语音输入法n 中国互联网企业唯一自主开发的语音输入法产品n  识别率大大超过苹果Sirin  获得用户广泛好评http://shouji.baidu.com/input/ null短信输入 微博输入 古诗输入 新闻输入 适合多种应用的高精度语音输入http://shouji.baidu.com/input/ null百度最高奖2013null 政治类 文字色情类 广告类Ø 反作弊Ø 点滴搜索Ø 拍照文字识Ø 百度翻译App自然图片OCR技术null文字识|条码二维码|视觉搜索|人脸识Ø  贴吧政治人物头像反作弊，准确99%，召回96%； Ø  全网人脸搜索引擎“百度识图”，索引数亿人脸，瞬间返回结果。 null百度相册：人脸搜索Ø  云相册人脸检索，准确90%，召回50%； null百度魔图  单日最高上载9000万张图片， 在IOS APP排行榜总榜排名第一达3周之久null百度魔图  null百度魔图  null百度魔图 null百度魔图 null基于深度神经网络的视觉搜索技术null何为相似？nullnull百度技术Google搜索结果百度识图 检索图片null百度技术Google搜索结果百度识图 检索图片null百度技术Google搜索结果百度识图 检索图片null百度技术Google搜索结果百度识图 检索图片null百度技术Google搜索结果百度识图 检索图片null拍照写诗–百度 iOS APPnull拍照写诗–百度 iOS APPnull拍照写诗–百度 iOS APPnull拍照写诗–百度 iOS APPnull拍照写诗–百度 iOS APPnull拍照写诗–百度 iOS APPnull拍照写诗–百度 iOS APP少女杀手证null深度学习带来的大数据思考null重要的方面…大数据 + 计算能力 + 统计模型 + 应用创新nullAccuracy" Large-Scale Learning Matters! •  How to get good prediction when doing machine learning? Training set size (millions)"Banko & Biill, 200155null百度的典型训练样本规模• 图像识别:数千万训练样本•  •  •  • 9/16/13OCR: 数千万训练样本 语音识别： 数百亿训练样本 广告: 千亿训练样本 … 我们预计训练数据每年增长10倍 … 56null   Artificial Intelligence •  Deep  learning  might  be  our  current  best  shot  towards  AI   •  AI  is  our  ulFmate  goal   •  What’s  inside  AI?  Knowledge   有知识  Learning   会学习  Problem  Solving   解决问题  CreaFvity   创新  57Slides by Wei XunullThe Singularity •  Happens when anAI is created such that its engineering capabilities surpassed those of its creators –  Lead to intelligence explosion •  Some believe that this will happen in the next generation •  AI will be the vehicle to spread human civilization throughout the universe (Ray Kurzweil:The Singularity is Near) 58Slides Courtesy: Wei XunullArea V2•  •  •  •  • 1.5公斤,  占2%的体重,  却消耗20%身体的能量.   大脑有1000亿神经元   每个神经元有大约5000个神经突触   没个神经元的  firing  rate:  200  次每秒   每秒计算能力:   –  10^11*5000*200  =  10^17  =  100  petaflops   –  20  W,  5petaflops/w  •  目前最快的计算机(天河二号）   –  33.86  petaflops   –  18*10^6  w,  2.14Gflops/w  59人类大脑  Slides by Wei XuRetinapixelsDeepArchitecture in the Brain Area V4 Higher level visual abstractions Primitive shape detectors Area V1 Edge detectorsnull19501960197019801990200020102020The Singularity is Near x GFLOPS/Thousand Dollar 10000 100 1 0.01 0.0001 0.000001 1E-08 1E-1060 x SingularitySlides by Wei Xunull深度学习 总结 初级经济法重点总结下载党员个人总结TXt高中句型全总结.doc高中句型全总结.doc理论力学知识点总结pdf 和展望-  百度是深度学习最前沿科技公司之一（deeplearning.net)-  深度学习的关键技术在以下领域需要持续突破：-  大规模海量数据并行训练平台-  对于结构和非结构数据的深度学习建模技术 -  对于语言，语义，知识的建模，学习，表示，集成 -  线上模型压缩加速技术-  依赖于高性能计算，大脑认知机理，等领域的发展