• 1. 关于利用大数据促进社会经济发展的研究分享人•刘艳军
  • 2. 汇报提纲1什么是大数据2大数据如何促进社会经济发展3大数据发展现状和经典案例4我省大数据发展建议和意见
  • 3. 一、什么是大数据GUIWebCloudIOT数据挖掘 网络共享 以计算机为中心信息共享 以软件为中心资源共享 以服务为中心感知共享 以应用为中心知识共享 以用户价值为中心PC时代网络时代云计算时代物联网时代大数据时代发明电视发明计算机发明IC发明光纤发明INTERNET发明电脑发明电话发明WEB3G标准化1939194419691959196619741979198919992014摩尔时代互联网时代PC时代移动通信时代Web时代宽带移动通个信时代55年前45年前25年前40年前35年前15年前70年前48年前75年前ICT的发展
  • 4. 一、什么是大数据互联网的发展 联网互Internet 1.0-PC有线互联网。PC最早的连接只能通过电话,然后再通过宽带,都需要PC、线。 Internet 2.0-无线互联网。最典型的是WiFi、3G、4G这样的通讯网络,与此同时,沟通的重心从PC走向了智能手机。 Internet 3.0-物联网Web 1.0-门户概念,像新浪、搜狐、网易。在1.0门户阶段虽然有互动的元素,但最本质的沟通模式还是多对一,还是传播,所以大家把它叫做新媒体。 Web 2.0-搜索。在搜索界面上还是多对一,每个个体跟搜索引擎发生联系,搜索的后台技术,完全利用了互联网的网状结构。 Web 3.0-SNS,双向互动的社交网络,它是一个多对多,同时包含点对点的天然网络。互动1.0-BBS,网络社区, 互动2.0-新浪微博这样的产品,是个互动的社区,它最大的特征是单向的关注。“关注”是它最主要的一个产品形态及互动模式。 互动3.0-Facebook、微信这样的产品,它们最大的特点是双向互动,任何人跟任何群体之间,都可以在瞬间发生多维的互动。这是“互动”的一个深入。“任何人、任何物、任何时间、任何地点,永远在线、随时互动”--未来的互联网(阿里巴巴首席战略官:曾鸣)
  • 5. 大数据的诞生一、什么是大数据 半个世纪以来,随着计算机技术全面融入社会生活,信息增长已经达到一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息,而且其增长速度也在加快。信息爆炸创造出了“大数据”这个概念。如今,这个概念几乎应用到了所有人类智力与发展的领域中。Twitter---2亿条,7TB;50亿个单词,几乎是60年来纽约时报单词量的两倍 Facebook---2.5亿张照片,300TB Youtube---7万小时视频 美国家安全局电话监控 30TB 淘宝网站---交易数千万笔,20TB 全球互联网上一天的信息量可以刻满1.68亿张DVD,80万个硬盘,约为800Eb 单就中文信息而言,每天产生数亿个新网页医疗图像的存储量占全球全部照片30%! 全球每年新产生的照片数(亿张)互联网上的一天
  • 6. 一、什么是大数据大数据是互联网发展到现今阶段的一种表象或特征,在以云计算为代表的技术创新大幕的衬托下,原本很难收集和使用的数据开始容易被利用起来,通过不断创新逐步为人类创造更多的价值。 第一层面是理论,理论是认知的必经途径。 从大数据的特征定义理解行业对大数据的整体描绘和定性;从对大数据价值的探讨来深入解析大数据的珍贵所在;从对大数据的现在和未来去洞悉大数据的发展趋势;从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。 第二层面是技术,技术是大数据价值体现的手段和前进的基石。分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。 第三层面是实践,实践是大数据的最终价值体现。 分别从互联网的大数据,政府的大数据,企业的大数据和个人的大数据四个方面来描绘大数据已经展现的美好景象及即将实现的蓝图。
  • 7. 一、什么是大数据实践篇-政府大数据 政府各个部门都握有构成社会基础的原始数据,大数据是智慧的核心能源。气象,金融,信用,电力,煤气,自来水,道路交通,客运,安全刑事案件,住房,海关,出入境数据,旅游,医疗,教育,环保数据等等。如果政府可以将这些数据关联起来,并对这些数据进行有效的关联分析和统一管理,这些数据必定将获得新生,其价值是无法估量的。
  • 8. 一、什么是大数据实践篇-互联网大数据 典型代表性包括:用户行为数据(精准广告投放、内容推荐、行为习惯和喜好分析、产品优化等)-用户消费数据(精准营销、信用记录分析、活动促销、理财等)-用户地理位置数据(O2O推广,商家推荐,交友推荐等)-互联网金融数据(P2P,小额贷款,支付,信用,供应链金融等)-用户社交等UGC数据(趋势分析、流行元素分析、受欢迎程度分析、舆论监控分析、社会问题分析等)
  • 9. 一、什么是大数据实践篇-企业大数据 企业的高层最关注的是报表曲线的背后能有怎样的信息,他该做怎样的决策,这一切都需要通过数据来传递和支撑对于企业的大数据。随着数据逐渐成为企业的一种资产,数据产业会向传统企业的供应链模式发展,最终形成“数据供应链”。 外部数据的重要性日益超过内部数据。在互联互通的互联网时代。 能提供包括数据供应、数据整合与加工、数据应用等多环节服务的公司会有明显的综合竞争优势。
  • 10. 一、什么是大数据实践篇-个人大数据 每个用户可以在互联网上注册个人的数据中心,以存储个人的大数据信息。用户可确定哪些个人数据可被采集,并通过可穿戴设备或植入芯片等感知技术来采集捕获个人的大数据牙齿监控数据,心率数据,体温数据,视力数据,记忆能力,地理位置信息,社会关系数据,运动数据,饮食数据,购物数据等等。与个人相关联的各种有价值数据信息被有效采集后,可由本人授权提供第三方进行处理和使用,并获得第三方提供的数据服务。
  • 11. 一、什么是大数据技术篇 感知技术大数据的采集和感知技术的发展是紧密联系的。以传感器技术,指纹识别技术,RFID技术,坐标定位技术等为基础的感知能力提升同样是物联网发展的基石。存储技术大数据可以抽象的分为大数据存储和大数据分析,这两者的关系是:大数据存储的目的是支撑大数据分析。大数据存储致力于研发可以扩展至PB甚至EB级别的数据存储平台;大数据分析关注在最短时间内处理大量不同类型的数据集。分布式处理技术分布式处理系统可以将不同地点的或具有不同功能的或拥有不同数据的多台计算机用通信网络连接起来,在控制系统的统一管理控制下,协调地完成信息处理任务。云计算数据常和云计算联系到一起,因为实时的大型数据集分析需要分布式处理框架来向数十、数百或甚至数万的电脑分配工作。可以说,云计算充当了工业革命时期的发动机的角色,而大数据则是电。
  • 12. 理论篇-特征定义(一) 一、什么是大数据12传统数据范围广模态多增长快关联繁数据规模较小模态属性受限增长速度较慢关联相对简单稠密与稀疏共存冗余与缺失并在动态与静态互现显式与隐藏均有特性问题描述与存储的挑战分析与理解的挑战挖掘与预测的挑战挑战大数据应用目标 相对比较明确数据结构相对比较简单时序长持续时间较短处理方法通常为模型化、参数化
  • 13. 一、什么是大数据理论篇-特征定义(二) 大数据真正的本质不在于“大”,而是在于背后跟互联网相通的一整套新的思维-数据搜集的无意识参与,数据互动交互 在线首先大数据必须是永远是在线的,而且在线的还得是热备份的,不是冷备份的,不是放在磁带里的,是随时能调用的。不在线的数据不是大数据,因为你根本没时间把它导出来使用。只有在线的数据才能马上被计算、被使用。实时大数据必须实时反应。例如淘宝输入一个商品,后台必须在10亿件商品当中,瞬间进行呈现。如果要等一个小时才呈现话,相信没有人再上淘宝。十亿件商品、几百万个卖家、一亿的消费者,瞬间完成匹配呈现,这才叫大数据全貌数据还有一个最大的特征,它不再是样本思维,它是一个全体思维。以前一提到数据,人们第一个反应是样本、抽样,但是大数据不再抽样,不再调用部分,我们要的是所有可能的数据,它是一个全貌。其实叫全数据比大数据更准确。
  • 14. 一、什么是大数据理论篇-现在和未来 大数据除了将更好的解决社会问题,商业营销问题,科学技术问题,还有一个可预见的趋势是以人为本的大数据方针。大部分的数据都与人类有关,要通过大数据解决人的问题。 大数据的价值链条来分析,存在三种模式: 手握大数据,但是没有利用好;比较典型的是金融机构,电信行业,政府机构等。 没有数据,但是知道如何帮助有数据的人利用它;比较典型的是IT咨询和服务企业,比如,埃森哲,IBM,Oracle等。 既有数据,又有大数据思维;比较典型的是Google。
  • 15. 一、什么是大数据理论篇-大数据隐私 用户隐私问题一直是大数据应用难以绕开的一个问题,中国并没有专门的法律法规来界定用户隐私。但随着民众隐私意识的日益增强,合法合规地获取、分析和应用数据,是进行大数据分析时必须遵循的原则。 专家给予如何有效保护大数据背景下隐私权的建议: 数据仅留存在个人中心,其它第三方机构只被授权使用限,且必须接受用后即焚的监管。 采集个人数据应该明确分类,除了国家立法明确要求接受监控的数据外,其它类型数据都由用户自己决定是否被采集。 数据的使用将只能由用户授权,数据中心帮助监控个人数据的整个生命周期。。
  • 16. 一、什么是大数据理论篇-价值探讨(方法论的变革) 整体论原理:研究对象当作一个完整的黑箱来看待,它不打开作为黑箱的研究对象,不破坏对象的完整性,主要从系统的输入输出中猜测黑箱内部的结构和内部机制缺点:由于只从整体、宏观层面来考察对象,缺乏微观、深入的研究,只能依靠少量信息猜测内部的结构和机制,难于对研究对象进行科学表述还原论原理:主张把研究对象尽可能打开,尽量还原到某个逻辑基点,找出系统的构成要素及其内部机制,以解释系统的行为和功能缺点:复杂和海量的非线性数据无法进行推理和解释其里面存在的本质和规律。相关论原理:通过大量数据甚至是海量数据来全面、完整地刻画对象,通过处理海量数据来找到研究对象的规律或本质。优势:在大数据中,整体和部分都有了科学、具体的所指,整体和部分的关系是一个具体、实在的关系。整体论中所说的全面、完整把握对象就有了科学的表述并落实到了具体的数据,还原论中的要素、部分也得到了科学的表述。大数据带来的三大思维变革-”要全体不要抽样,要效率不要绝对精确,要相关不要因果”
  • 17. 理论篇-价值探讨(加强科技创新) 一、什么是大数据几千年前过去几百年过去几十年今天自然科学,描述自然现象理论科学,牛顿定律,麦克斯韦方程式之类计算科学,模拟复杂现象数据密集型科学,理论、实验和模拟的统一,数据探索2007年图灵奖得主Jim Gray在美国国家科学研究委员会发表演讲,指出科学研究已经在几千年前的凭经验、几百年前的靠理论模型、几十年前的科学仿真之后,进入了第四个阶段——数据探索!
  • 18. 理论篇-价值探讨(促进经济发展) 一、什么是大数据 计世资讯预测,2012年政府、互联网、电信、金融的大数据市场规模较大,四个行业将占据一半市场份额。 由于各个行业都存在大数据应用需求,潜在市场空间非常可观。 计世资讯认为,2011年是中国大数据市场元年,一些大数据产品已经推出,部分行业也有大数据应用案例的产生。2012年-2016年,将迎来大数据市场的飞速发展。 计世资讯预测,2012年中国大数据市场规模将达到4.7亿元,2013年大数据市场将迎来增速为138.3%的飞跃,到2016年,整个市场规模逼近百亿。
  • 19. 理论篇-价值探讨(推动社会进步) 一、什么是大数据 大数据正在成为一种新的生产要素、一种新的战略资源,渗透至各个领域,而把握和驾驭大数据,将会带来层出不穷的创新,从某种意义上说它代表着一种生产力,从而可以促进陕西省的社会经济发展。历史经验证明,每次重大信息技术的应用,都将会给国家和社会带来深刻的变革。如1993年美国推出的“信息高速公路”计划在一系列工业领域每年创造了3000亿的销售额,于此同时推动了相关多个产品的发展。如在预测和响应方面:传染病预测、粮食生产趋势预测、天气预测、经济预测…… 提升国家国防安全水平促进政府 开放,提升 社会管理 提升公共服务质量 提高政策预 见性、响应性, 支撑决策
  • 20. 二、大数据如何促进社会经济发展 大数据的本质(一) -生产要素 原始社会天然资源农业社会土地、劳动力工业社会资本、能源、机器后工业社会市场、技术、管理信息社会数据、信息、知识大数据是一种新的生产要素, 一种新的资源。 大数据可被消费,但没法被耗尽,可被创造,而不会被销毁,除非丢失或遗忘。大数据消耗的是注意力,每“滴”数据的价值不同,叠加效应不是加法的,而是指数的。大数据区别于其他生产要素!
  • 21. 二、大数据如何促进社会经济发展大数据的本质(二) -生产要素 新的战略资源和国家竞争力 大数据领域的落后,意味着数字主权无限可守意味国家安全将出现纰漏。大数据时代,国家层面的竞争力将部分体现为一国拥有大数据的规模,活性以及对数据的解释,运用的能力。一个国家在网络空间的数据主权将是继陆海,空,天之后另一大国博弈的空间。大数据讲是一个国家数字主权的体现微软史密斯:“给我提供一些数据,我就能做一些改变。如果给我提供所有数据,我就能拯救世界。”
  • 22. 二、大数据如何促进社会经济发展大数据的本质(三) -关系网络 观察各种复杂系统得到的大数据,直接反应的往往是一个个孤立的数据和分散的链接,但这些反应关系的相互的链接整合起来就是一个网络。数据的共性,网络的整体特征隐藏在数据,网络中大数据往往以复杂关联的数据网络这样一种独特的形式存在。 复杂网络分析应该是数据科学的重要基石:理解大数据要对大数据后面的网络进行深入分析,网络的性质和参数能刻画出大数据背后的网络的共性。
  • 23. 二、大数据如何促进社会经济发展大数据技术变成生产力(一) 物联网概念对应了互联网虚拟大脑的感觉和运动神经系统,云计算对应了互联网虚拟大脑的中枢神经系统,大数据和大数据处理对应了互联网虚拟大脑的智慧发育和智商提升。
  • 24. 二、大数据如何促进社会经济发展大数据技术变成生产力(二) 大数据技术为社会经济发展提供了有效的工具和手段,但真正获取有效的决策信息,还得依靠数据分析和挖掘人员的经验与智慧,在浩瀚的数据海洋中发掘应用点,进行相关数据的提取和关联,建立科学的分析模型,才能充分发挥大数据的作用。 获取:“社会和经济管理”的信息处理与应用需要具备快速从海量数据中获取决策信息的能力。 支撑:“社会经济发展”运行的各个环节和领域, 需要大数据技术支撑。 决策:“社会经济发展”的科学和高效管理,通过大数据技术的量化决策是关键和核心的竞争力。
  • 25. 二、大数据如何促进社会经济发展大数据促进生产关系变革 大数据是知识经济落地最实在的切入口,当云计算有了大数据、有了互联网这样的基础后,这三者是三位一体的。没有云计算,就没有大数据,云计算是为大数据服务。-输出的就是全社会所有需要的计算能力。 互联网的精神深入骨髓:平等、开放、迭代、演化的方式是大数据时代重要的理念。 工业文明走向信息文明:云计算的普遍使用,是进入信息社会的标志。 机械系统走向生态系统:数据和知识工作者成为知识经济的时代最核心的资源。
  • 26. 二、大数据如何促进社会经济发展生产力决定成产关系 如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。大数据领域最具有价值的是两种事物:1、拥有大数据思维的人,这种人可以将大数据的潜在价值转化为实际利益;2、还未有被大数据触及过的业务领域。     
  • 27. 汇报提纲1什么是大数据2大数据如何促进社会经济发展3大数据发展现状和经典案例4我省大数据发展建议和意见
  • 28. 谢 谢!