2016年中国大数据交易产业白皮书


I 目 录 1 大数据产业链概述 ................................................................................................................... 1 1.1 大数据定义 ............................................................................................................... 1 1.2 大数据产业链图谱 ................................................................................................... 1 1.2.1 数据源 ............................................................................................................... 2 1.2.2 大数据硬件支撑层 ........................................................................................... 3 1.2.3 大数据技术层 ................................................................................................... 4 1.2.4 大数据交易层 ................................................................................................... 7 1.2.5 大数据应用层 ................................................................................................... 8 1.2.6 大数据衍生层 ................................................................................................... 9 2 全球大数据交易发展现状 ..................................................................................................... 11 2.1 全球大数据产业发展概况 ..................................................................................... 11 2.2 全球大数据市场分析 ............................................................................................. 11 2.2.1 全球大数据产业市场规模 ............................................................................. 11 2.2.2 美国大数据产业发展概况 ............................................................................. 12 2.2.3 欧洲大数据产业发展概况 ............................................................................. 14 2.2.4 澳大利亚大数据产业发展概况 ..................................................................... 16 2.2.5 亚洲大数据产业发展概况 ............................................................................. 17 2.3 全球大数据交易平台概况 ..................................................................................... 19 2.3.1 Factual ............................................................................................................. 19 2.3.2 Infochimps ...................................................................................................... 20 2.3.3 Microsoft Azure .............................................................................................. 20 2.3.4 Fujitsu .............................................................................................................. 20 3 中国大数据产业发展现状 ..................................................................................................... 21 3.1 中国大数据宏观环境分析 ..................................................................................... 21 3.1.1 中国大数据产业政治法律环境分析 ............................................................. 21 3.1.2 中国大数据产业经济环境分析 ..................................................................... 24 3.1.3 中国大数据产业社会环境分析 ..................................................................... 24 3.1.4 大数据产业技术环境分析 ............................................................................. 25 3.2 中国大数据市场分析 ............................................................................................. 26 3.2.1 中国大数据市场概述 ..................................................................................... 26 3.2.2 中国大数据细分市场分析 ............................................................................. 27 3.2.3 大数据产业竞争格局 ..................................................................................... 33 4 中国大数据交易市场现状 ..................................................................................................... 38 4.1 中国大数据交易现状 ............................................................................................. 38 4.1.1 中国大数据交易平台建设现状 ..................................................................... 38 4.1.2 大数据交易主要问题分析 ............................................................................. 39 4.2 中国大数据交易规模 ............................................................................................. 47 4.3 贵阳大数据交易所发展现状 ................................................................................. 48 5 中国政府大数据发展现状分析 ............................................................................................. 50 5.1 政府大数据的社会经济价值 ................................................................................. 50 5.1.1 提升政府管理效率 ......................................................................................... 50 5.1.2 促进产业转型升级 ......................................................................................... 51 II 5.1.3 商业应用服务民生 ......................................................................................... 51 5.1.4 助力智慧城市建设 ......................................................................................... 52 5.2 政府大数据应用市场规模 ..................................................................................... 52 5.3 政府大数据应用现状 ............................................................................................. 53 5.3.1 公安大数据应用场景 ..................................................................................... 55 5.3.2 质监局大数据应用场景 ................................................................................. 58 5.3.3 财务大数据应用场景 ..................................................................................... 61 5.3.4 交通运输大数据应用场景 ............................................................................. 64 5.3.5 食药监大数据应用场景 ................................................................................. 67 5.3.6 工商大数据应用场景 ..................................................................................... 70 5.3.7 海关大数据应用场景 ..................................................................................... 73 5.3.8 扶贫大数据应用场景 ..................................................................................... 76 5.3.9 司法大数据应用场景 ..................................................................................... 80 5.3.10 金融办大数据应用场景 ................................................................................. 83 5.4 国家部委大数据发展现状分析 ............................................................................. 86 5.4.1 各部委参与现状 ............................................................................................. 86 5.4.2 各部委大数据相关政策 ................................................................................. 87 5.5 地方政府大数据发展现状分析 ............................................................................. 91 5.5.1 地方政府大数据产业相关政策 ..................................................................... 91 5.5.2 政府着手推动大数据交易 ............................................................................. 94 6 中国行业大数据应用现状分析 ............................................................................................. 95 6.1 中国行业大数据概况 ............................................................................................. 95 6.1.1 中国行业大数据应用现状 ............................................................................. 95 6.1.2 中国行业大数据交易现状 ............................................................................. 96 6.2 金融大数据应用现状分析 ..................................................................................... 97 6.2.1 金融大数据现状 ............................................................................................. 97 6.2.2 金融大数据应用市场规模 ............................................................................. 98 6.2.3 金融大数据应用案例 ................................................................................... 105 6.2.4 金融大数据重点企业分析 ........................................................................... 106 6.2.5 金融大数据交易现状 ................................................................................... 108 6.3 医疗大数据应用现状分析 ................................................................................... 111 6.3.1 医疗大数据现状 ........................................................................................... 112 6.3.2 医疗大数据应用市场规模 ........................................................................... 113 6.3.3 医疗大数据应用案例 ................................................................................... 116 6.3.4 医疗大数据重点企业分析 ........................................................................... 119 6.4 工业大数据应用现状分析 ................................................................................... 121 6.4.1 工业大数据现状 ........................................................................................... 121 6.4.2 工业大数据应用市场规模 ........................................................................... 123 6.4.3 工业大数据应用案例 ................................................................................... 128 6.4.4 工业大数据重点企业分析 ........................................................................... 130 6.5 农业大数据应用现状分析 ................................................................................... 132 6.5.1 农业大数据现状 ........................................................................................... 133 6.5.2 农业大数据应用市场规模 ........................................................................... 135 6.5.3 农业大数据应用案例 ................................................................................... 137 III 6.5.4 农业大数据重点企业分析 ........................................................................... 139 6.6 能源大数据应用现状分析 ................................................................................... 141 6.6.1 能源大数据现状 ........................................................................................... 141 6.6.2 能源大数据应用市场规模 ........................................................................... 146 6.6.3 能源大数据应用案例 ................................................................................... 148 6.6.4 能源大数据重点企业分析 ........................................................................... 149 6.7 电信大数据应用现状分析 ................................................................................... 152 6.7.1 电信大数据现状 ........................................................................................... 152 6.7.2 电信大数据应用市场规模 ........................................................................... 154 6.7.3 电信大数据应用案例 ................................................................................... 159 6.7.4 电信大数据重点企业分析 ........................................................................... 161 6.8 教育大数据应用现状分析 ................................................................................... 163 6.8.1 教育大数据现状 ........................................................................................... 163 6.8.2 教育大数据应用市场规模 ........................................................................... 167 6.8.3 教育大数据应用案例 ................................................................................... 171 6.8.4 教育大数据重点企业分析 ........................................................................... 175 6.9 交通大数据应用现状分析 ................................................................................... 177 6.9.1 交通大数据现状 ........................................................................................... 177 6.9.2 交通大数据应用市场规模 ........................................................................... 180 6.9.3 交通大数据应用案例 ................................................................................... 184 6.9.4 交通大数据重点企业分析 ........................................................................... 186 6.10 物流大数据应用现状分析 ................................................................................... 188 6.10.1 物流大数据现状 ........................................................................................... 188 6.10.2 物流大数据的应用市场规模 ....................................................................... 190 6.10.3 物流大数据应用案例 ................................................................................... 194 6.10.4 物流大数据重点企业分析 ........................................................................... 196 6.10.5 物流大数据交易现状 ................................................................................... 198 6.11 气象大数据应用现状分析 ................................................................................... 198 6.11.1. 气象大数据现状 ........................................................................................... 198 6.11.2. 气象大数据应用市场规模 ........................................................................... 201 6.11.3. 气象大数据应用案例 ................................................................................... 204 6.11.4. 气象大数据重点企业分析 ........................................................................... 206 6.12 环保大数据应用现状分析 ................................................................................... 208 6.12.1 环保大数据现状 ........................................................................................... 208 6.12.2 环保大数据应用市场规模 ........................................................................... 210 6.12.3 环保大数据应用案例 ................................................................................... 214 6.12.4 环保大数据重点企业分析 ........................................................................... 216 6.13 媒体大数据应用现状分析 ................................................................................... 221 6.13.1 媒体大数据现状 ........................................................................................... 221 6.13.2 媒体大数据应用市场规模 ........................................................................... 226 6.13.3 媒体大数据应用案例 ................................................................................... 233 6.13.4 媒体大数据重点企业分析 ........................................................................... 235 6.13.5 媒体大数据交易现状 ................................................................................... 237 6.14 食品大数据应用现状分析 ................................................................................... 238 IV 6.14.1 食品大数据现状 ........................................................................................... 238 6.14.2 食品大数据应用市场规模 ........................................................................... 240 6.14.3 食品大数据应用案例 ................................................................................... 242 6.14.4 食品大数据重点企业分析 ........................................................................... 245 6.15 旅游大数据应用现状分析 ................................................................................... 247 6.15.1 旅游大数据现状 ........................................................................................... 248 6.15.2 旅游大数据应用市场规模 ........................................................................... 254 6.15.3 旅游大数据应用案例 ................................................................................... 257 6.15.4 旅游大数据重点企业分析 ........................................................................... 258 6.16 电力大数据应用现状分析 ................................................................................... 260 6.16.1 电力大数据现状 ........................................................................................... 261 6.16.2 电力大数据应用市场规模 ........................................................................... 265 6.16.3 电力大数据应用案例 ................................................................................... 266 6.16.4 电力大数据重点企业分析 ........................................................................... 270 7 中国大数据产业发展展望 ................................................................................................... 273 V 图表目录 图表 1:中国大数据产业链图谱 ............................................................................................ 2 图表 2:中国大数据产业链数据源细分 ................................................................................ 3 图表 3:中国大数据产业链硬件支撑层细分 ........................................................................ 4 图表 4:中国大数据产业链技术层细分 ................................................................................ 6 图表 5:中国大数据产业链交易层细分 ................................................................................ 8 图表 6:中国大数据产业链应用层细分 ................................................................................ 9 图表 7:中国大数据产业链大数据衍生层细分 .................................................................. 10 图表 8:2014-2020 年全球大数据产业市场规模及增长率 ................................................ 12 图表 9:2020 年全球各地区大数据产业市场份额 ............................................................. 12 图表 10:2014-2020 年美国大数据产业市场规模及增长率 .............................................. 13 图表 11:2014-2020 年欧洲大数据产业市场规模及增长率 .............................................. 14 图表 12:2014-2020 年澳大利亚大数据产业市场规模及增长率 ...................................... 16 图表 13:2014-2020 年日本大数据产业市场规模及增长率 .............................................. 18 图表 14:2006 年以来我国推动大数据产业发展政策汇总 ............................................... 23 图表 15:2014-2020 年中国大数据产业市场规模及增长率 .............................................. 26 图表 16:2020 年中国大数据细分市场占比 ....................................................................... 27 图表 17:2014 -2020 年中国数据源市场规模及增长率 ..................................................... 27 图表 18:2014-2020 年中国大数据数据源市场份额趋势 .................................................. 28 图表 19:2014-2020 年中国大数据硬件市场规模及增长率 .............................................. 28 图表 20:2014-2020 年中国大数据硬件市场份额趋势 ...................................................... 29 图表 21:2014-2020 年中国大数据技术市场规模及增长率 .............................................. 30 图表 22:2014-2020 年中国大数据技术层市场份额趋势 .................................................. 30 图表 23:2014 -2020 年中国大数据应用市场规模及增长率 ............................................. 31 图表 24:2014-2020 年中国大数据应用市场份额趋势 ...................................................... 31 图表 25:2014-2020 年中国大数据交易市场份额趋势 ...................................................... 32 图表 26:2014-2020 年中国大数据衍生层市场规模及增长率 .......................................... 33 图表 27:中国大数据产业圈分布 ........................................................................................ 34 图表 28:中国大数据应用领域企业 .................................................................................... 36 图表 29:可交易的数据品种及类型 .................................................................................... 39 图表 30:大数据交易标准体系 ............................................................................................ 46 图表 31:2014-2020 年中国大数据交易市场规模及增长率 .............................................. 48 图表 32:2014-2020 年中国政府大数据应用市场规模及增长率 ...................................... 53 图表 33:2014-2020 年中国政府大数据应用占比走势图 .................................................. 53 图表 34:社会治安事件预警决策平台场景示例 ................................................................ 56 图表 35:助力打拐大数据平台场景示例 ............................................................................ 57 图表 36:线上线下非法集资监管平台场景示例 ................................................................ 58 图表 37:精准抽检平台场景示例 ........................................................................................ 59 图表 38:精准打假大数据场景示例 .................................................................................... 60 图表 39:进出口疫苗监测大数据平台场景示例 ................................................................ 61 图表 40:逃税漏税追踪大数据场景示例 ............................................................................ 62 图表 41:税费改革效果追踪及辅助决策平台场景示例 .................................................... 63 图表 42:公共资源项目及资金监管大数据场景示例 ........................................................ 64 VI 图表 43:城市轨道交通布局规划大数据场景示例 ............................................................ 66 图表 44:公路施工安全监督大数据场景示例 .................................................................... 67 图表 45:食品检验检测大数据场景示例 ............................................................................ 68 图表 46:药品安全电子监管追溯平台场景示例 ................................................................ 69 图表 47:大数据精准禁毒平台场景示例 ............................................................................ 70 图表 48:产业升级转型决策支持平台场景示例 ................................................................ 72 图表 49:小微企业大数据服务平台场景示例 .................................................................... 73 图表 50:企业信用评估大数据场景示例 ............................................................................ 75 图表 51:海关风险监控大数据场景示例 ............................................................................ 76 图表 52:动态扶贫规划布局图场景示例 ............................................................................ 78 图表 53:扶贫资金监管平台场景示例 ................................................................................ 79 图表 54:教育扶贫大数据场景示例 .................................................................................... 80 图表 55:网络诈骗监控大数据场景示例 ............................................................................ 81 图表 56:信访舆情监控大数据平台场景示例 .................................................................... 82 图表 57:数据铁笼场景示例 ................................................................................................ 83 图表 58:企业征信大数据场景示例 .................................................................................... 84 图表 59:中小企业融资服务大数据场景示例 .................................................................... 85 图表 60:金融市场风险管控大数据场景示例 .................................................................... 86 图表 61:中国推动政府大数据产业相关政策行动一览表 ................................................ 87 图表 62:政府大数据应用十大工程 .................................................................................... 90 图表 63:中国地方政府大数据产业相关政策行动一览表 ................................................ 91 图表 64:2020 年中国各行业大数据应用占比图 ............................................................... 96 图表 65:各行业每 100 万元创收的实际数据用量 ............................................................ 97 图表 66:2015 年金融各行业对金融数据贡献度 ............................................................... 98 图表 67:2014-2020 年中国金融大数据应用市场规模及增长率 ...................................... 99 图表 68:中国金融行业大数据投资结构 .......................................................................... 108 图表 69:2015 年中国银行业 IT 投资结构 ....................................................................... 109 图表 70:中国医疗资源分布情况 ...................................................................................... 112 图表 71:2014-2020 年医疗大数据应用市场规模及增长趋势 ........................................ 116 图表 72:IBM 智慧医疗:“沃森医生” ........................................................................... 118 图表 73:迪安诊断“新模式” .......................................................................................... 120 图表 74:大数据指引工业产品创新方向 .......................................................................... 124 图表 75:工业大数据诊断与预测产品故障 ...................................................................... 125 图表 76:大数据实现产品销售预判与需求管理 .............................................................. 126 图表 77:2014-2020 年工业大数据应用市场规模及增长趋势 ........................................ 127 图表 78:Vestas 利用大数据优化风力涡轮机 ................................................................... 129 图表 79:PLM 软件以数字化方式创建和验证完整的产品和生产运营过程 ................. 131 图表 80:农业大数据可应用于全产业链 .......................................................................... 132 图表 81:政府农业大数据资源列表 .................................................................................. 133 图表 82:农业电商产业链分布 .......................................................................................... 135 图表 83:2014-2020 年农业大数据应用市场规模及增长趋势 ........................................ 137 图表 84:FarmLogs 云端智能管理软件 ............................................................................ 138 图表 85:VitalFields 农场云端预警服务 ........................................................................... 139 图表 86:中国能源大数据数据源 ...................................................................................... 142 VII 图表 87:能源领域大数据应用 .......................................................................................... 146 图表 88:2014-2020 年能源大数据应用市场规模及增长趋势 ........................................ 148 图表 89:电信大数据数据源 .............................................................................................. 153 图表 90:2015 年电信业务量统计表 ................................................................................. 153 图表 91:国内电信运营商数据化运营阶段划分 .............................................................. 155 图表 92:中国电信大数据市场需求分析 .......................................................................... 155 图表 93:2014-2020 年电信大数据应用市场规模及增长趋势 ........................................ 159 图表 94:教育大数据资源统计 .......................................................................................... 164 图表 95:百度大数据辅助高考预测 .................................................................................. 167 图表 96:2014-2020 年教育大数据应用市场规模及增长趋势 ........................................ 171 图表 97:“学堂在线”大数据分析服务图 ........................................................................ 172 图表 98:交通大数据应用领域示意图 .............................................................................. 178 图表 99:2014 -2020 年交通大数据应用市场规模及增长趋势 ....................................... 181 图表 100:交通领域大数据应用 ........................................................................................ 181 图表 101:大数据在滴滴出行中的应用 ............................................................................ 184 图表 102:2004-2015 社交网络快递物流企业负面评价分析 .......................................... 191 图表 103:2004-2015 年社交网络快递物流企业投诉增长图 .......................................... 191 图表 104:大数据应用于物流运输智能决策平台 ............................................................ 192 图表 105:大数据应用于物流运输智能预警平台 ............................................................ 193 图表 106:2014-2020 年物流大数据应用市场规模及增长趋势 ...................................... 194 图表 107:物流大数据应用场景示例 ................................................................................ 195 图表 108:气象大数据分类 ................................................................................................ 199 图表 109:气象行业大数据与气象互联网大数据的区别 ................................................ 200 图表 110:2014-2020 年气象大数据应用市场规模及增长趋势 ...................................... 202 图表 111:气象大数据应用价值示意图 ............................................................................ 203 图表 112:气象大数据需求示意图 .................................................................................... 204 图表 113:环保大数据应用价值 ........................................................................................ 210 图表 114:2014-2020 年环保大数据应用市场规模 .......................................................... 214 图表 115:2015 年环保大数据应用企业排名与分类 ....................................................... 217 图表 116:媒体大数据商业模式 ........................................................................................ 221 图表 117:中国网民规模和互联网普及率 ........................................................................ 224 图表 118:中国手机网民规模及占网民比例 .................................................................... 225 图表 119:网络媒体细分市场受众 .................................................................................... 225 图表 120:2014-2020 年媒体大数据应用市场规模及增长趋势 ...................................... 226 图表 121:2012-2016 年中国传统媒体广告市场规模 ...................................................... 226 图表 122:2012-2016 年中国新媒体广告市场规模 .......................................................... 227 图表 123:广电媒体大数据运营管理模式 ........................................................................ 228 图表 124:平面媒体大数据运营应用场景 ........................................................................ 230 图表 125:新媒体大数据营销创新应用场景 .................................................................... 232 图表 126:南方报业传媒集团大数据运营应用场景 ........................................................ 237 图表 127:2014-2020 年食品大数据应用市场规模及增长趋势 ...................................... 242 图表 128:“飞鹤”乳业全产业链可追溯系统 ................................................................ 243 图表 129:“青岛”啤酒 ERP 信息管理系统 ................................................................... 245 图表 130:旅游大数据链示意图 ........................................................................................ 249 VIII 图表 131:旅游大数据应用 ................................................................................................ 254 图表 132:生态景区大数据平台应用场景图 .................................................................... 255 图表 133:旅游用户画像场景图 ........................................................................................ 256 图表 134:2014-2020 年旅游大数据应用市场规模及增长趋势 ...................................... 257 图表 135:电力系统中设备监测点 .................................................................................... 261 图表 136:电力生产大数据采集及去向 ............................................................................ 262 图表 137:配电监管大数据采集 ........................................................................................ 263 图表 138:电力需求大数据采集 ........................................................................................ 264 图表 139:2014 -2020 年电力大数据应用市场规模及增长趋势 ..................................... 266 图表 140:中国电谷智能电网综合工程构架 .................................................................... 267 图表 141:Opower 电力账单 .............................................................................................. 269 图表 142:Opower 电力分析平台 ...................................................................................... 269 1 1 大数据产业链概述 1.1 大数据定义 随着“云计算”、“互联网”、“物联网”的快速发展,大数据(Big Data)也吸引了越来 越多的关注,成为社会热点之一。那么什么是大数据?从 2001 年“大数据”一词在 Gartner 的研究报告出现至今,业内对“大数据”一词的定义仍未统一。 Gartner 给出了这样的定义,“大数据”是需要新处理模式才能具有更强的决策力、洞察 发现力和流程优化能力的海量、高增长率和多样化的信息资产。麦肯锡全球研究所对“ 大 数 据”给出的定义是:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软 件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价 值密度低四大特征。国际数据公司(IDC)从大数据的 4 个特征来定义,即海量的数据规模 (Volume)、快速的数据流转和动态的数据体系(Velocity)、多样的数据类型(Variety)、 巨 大的数据价值(Value)。 维基百科对“大数据”的定义是“无法在可承受的时间范围内用常 规软件工具进行捕捉、管理和处理的数据集合”。 大数据是一个宽泛的概念,见仁见智。上面几个定义,无一例外地都突出了“大”字。 诚然,“大”是大数据的一个重要特征,但远远不是全部。贵阳大数据交易所认为,认识大 数据,要把握“数据源、大数据硬件、大数据技术、大数据交易、大数据应用及衍生”等六 个层次。大数据是具有体量大、结构多样、时效强等特征的数据;处理大数据需采用新型计 算架构和智能算法等新技术;大数据的交易需要对数据脱敏、定价,大数据的应用强调以新 的理念应用于辅助决策、发现新的知识,更强调在线闭环的业务流程优化。因此说,大数据 不仅“大”,而且“新”,是新资源、新工具和新应用的综合体。 1.2 大数据产业链图谱 大数据产业链包括一切与大数据的产生与集聚(数据源)、组织与管理(存储)、分析与 发现(技术)、交易、应用与衍生产业相关的所有活动。大数据产业链按照数据价值实现流 程,包括数据源、大数据硬件支撑层、大数据技术层、大数据交易层、大数据应用层与大数 据衍生层等六大层级,每一层都包含相应的 IT 硬件设施、软件技术与信息服务等。 2 图表 1:中国大数据产业链图谱 (来源:贵阳大数据交易所) 1.2.1 数据源 数据源是大数据产业链的第一个环节,是大数据产业发展的基础。与国外的数据源区块 相比,中国大数据产业中的数据源有着自身的特点。由于中国大数据流通在全社会还未形成 规模,目前数据源区块主要集中在政府管理部门、互联网巨头、移动通讯企业等手中,具体 有政府数据源提供商、行业数据源提供商、企业数据源提供商、互联网数据源提供商、物联 网数据源提供商、移动通讯数据源提供商、第三方数据服务企业等等。 3 图表 2:中国大数据产业链数据源细分 (来源:贵阳大数据交易所) 既然数据成为了重要的资源和生产要素,必然会产生供应与流通。随着新技术的不断发 展,数据产生的方式也越来越多样。例如:人们每天使用的互联网和无限通讯,即时通讯、 微信、微博、手机电话、短信、彩信甚至是每一个互联网点击(通过点击习惯可以分析经常 浏览某类网站,喜欢某类商品,以及上网时间等使用习惯)都会留下记录,数据源将带来爆 炸性的数据增长。同时随着各行业对大数据应用的重视,越来越多的企业将加入数据的生产 和采集行业,数据源将进一步扩大。 1.2.2 大数据硬件支撑层 大数据硬件是指数据产生、采集、传输、存储、计算等一系列与大数据产业链相关的硬 件设备。包含传感器、移动智能终端、各种有线/无线传输设备、存储设备、服务器、网络/ 安全设备等。 在大数据的柔性注入下,越来越多的硬件产品都打出“智能牌”。智能硬件逐渐改变人 们日常生活的同时,还在用户无触发、无感知的情况下,24 小时不间断采集数据。可见, 智能硬件的发展将推动大数据第二波浪潮的到来。 但就大数据硬件的存储、服务器、网络安全等领域而言,国内目前缺少面向大数据的成 熟系统,参与者多是正在试图转型的传统 IT 厂商,如华为、浪潮、联想、曙光等公司。 4 图表 3:中国大数据产业链硬件支撑层细分 (来源:贵阳大数据交易所) 1.2.3 大数据技术层 大数据技术层指实现一切大数据采集与预处理、存储管理、大数据分析挖掘、大数据安 全和大数据可视化的技术手段,是大数据价值实现的重要条件。 (1) 大数据采集与预处理技术 数据采集技术指从传感器和其它待测设备等模拟和数字被测单元中自动采集非电量或 者电量信号,送到上位机中进行分析、处理的过程。数据采集技术可分为 3 大类: 系统日志采集方法:通过智能硬件、传感器、社交网络等数据载体的日常运维进行数据 资源的采集,大部分数据企业都拥有自己的采集工具,如 Hadoop 的 Chukwa、Cloudera 的 Flume、Facebook 的 Scribe 等,这些工具均采用分布式架构,能满足每秒数百 MB 的日志数 据采集和传输需求。 网络数据采集方法:指通过网络爬虫或网站公开 API 等方式从网站上获取数据信息。 该方法可以将非结构化数据从网页中抽取出来,将其存储为统一的本地数据文件,并以结构 5 化的方式存储。它支持图片、音频、视频等文件或附件的采集,并支持文件之间的自动关联。 除了网络中包含的内容之外,对于网络流量的采集可以使用 DPI 或 DFI 等带宽管理技术进 行处理。 其他数据采集方法:其他数据包括企业生产经营数据或学科研究数据等保密性要求较高 的数据,可以通过与企业或研究机构合作,使用特定系统接口等相关方式采集数据。 大数据预处理技术,主要完成对已接收数据的辨析、抽取、清洗等操作。数据抽取:因 获取的数据可能具有多种结构和类型,数据抽取过程可以将这些复杂的数据转化为单一的或 者便于处理的类型,以达到快速分析处理的目的。数据清洗:对于大数据,并不全是有价值 的,对于无价值的数据或干扰数据,需要通过过滤“去噪”进而提取出有效数据。 (2) 大数据存储管理技术 数据的海量化和快增长特征是大数据对存储技术提出的首要挑战。这要求底层硬件架构 和文件系统在性价比上要大大高于传统技术,并能够弹性扩展存储容量。但以往网络附着存 储系统(NAS)和存储区域网络(SAN)等体系,存储和计算的物理设备分离,它们之间要 通过网络接口连接,这导致在进行数据密集型计算(Data Intensive Computing)时 I/O 容易 成为瓶颈。同时,传统的单机文件系统(如 NTFS)和网络文件系统(如 NFS)要求一个文 件系统的数据必须存储在一台物理机器上,且不提供数据冗余性,可扩展性、容错能力和并 发读写能力难以满足大数据需求。 谷歌文件系统(GFS)和 Hadoop 的分布式文件系统 HDFS(Hadoop Distributed File System) 奠定了大数据存储技术的基础。与传统系统相比,GFS/HDFS 将计算和存储节点在物理上结 合在一起,从而避免在数据密集计算中易形成的 I/O 吞吐量的制约,同时这类分布式存储系 统的文件系统也采用了分布式架构,能达到较高的并发访问能力。 (3) 大数据分析挖掘技术 在人类全部数字化数据中,仅有非常小的一部分(约占总数据量的 1%)数值型数据得 到了深入分析和挖掘(如回归、分类、聚类),大型互联网企业对网页索引、社交数据等半 结构化数据进行了浅层分析(如排序)。占总量近 60%的语音、图片、视频等非结构化数据 还难以进行有效的分析。 6 大数据分析技术的发展需要在两个方面取得突破,一是对体量庞大的结构化和半结构化 数据进行高效率的深度分析,挖掘隐性知识,如从自然语言构成的文本网页中理解和识别语 义、情感、意图等;二是对非结构化数据进行分析,将海量复杂多源的语音、图像和视频数 转化为机器可识别的、具有明确语义的信息,进而从中提取有用的知识。 图表 4:中国大数据产业链技术层细分 (来源:贵阳大数据交易所) (4) 大数据可视化技术 大数据可视化是一个处于不断演变之中的概念,其边界在不断地扩大。主要指的是技术 上较为高级的技术方法,而这些技术方法允许利用图形、图像处理、计算机视觉以及用户界 面,通过表达、建模以及对立体、表面、属性以及动画的显示,对数据加以可视化解释。与 立体建模之类的特殊技术方法相比,数据可视化所涵盖的技术方法要广泛得多。 大数据可视化技术主要是利用计算机图形学和图像处理技术,将数据转换成图形或图像 在屏幕上显示出来,并进行交互处理的理论、方法和技术等。它涉及到计算机图形学、图像 处理、计算机视觉、计算机辅助设计等多个领域,成为研究数据表示、数据处理、决策分析 等一系列问题的综合技术。 (5) 大数据安全技术 7 大数据安全是个很宽泛的领域,可以包括:大数据系统的安全,数据本身的安全(加密) 以及隐私保护,大数据应用带来的安全和隐私问题,以及大数据技术应用于安全领域。 以 Hadoop 为代表的大数据系统早期主要处理公开领域的 Web 数据,因此并没有在安全 上着力,但近年来有了长足的进展,逐步加入了用户和服务鉴权(基于 Kerberos),加 入 HDFS 文件权限,对数据块的权限控制,对任务的授权,对网络上流动数据的加密以及 DataNode 内静态数据的加密等。Intel 的 Project Rhino 做了很多有益的尝试。 数据安全首先是静态数据的安全,主要是访问权限控制。其次是动态数据的安全,主要 是加密和动态审计能力。目前动态审计能力主要还是在企业内,表现为数据泄露防护(Data Leakage Prevention)技术,对重要数据进行分级、标识,实现跨平台(端点、移动设备、网 络和存储系统)的统一管理。 现在的主流大数据使用安全技术包括:基于同态加密、支持 SQL 的加密数据库,基于 加密协议的多方安全计算,基于可信计算环境的多方安全计算,基于隐私保护的机器学习算 法等。 1.2.4 大数据交易层 随着大数据技术的成熟和发展,大数据在商业上的应用越来越广泛,有关大数据的交互、 整合、交换日益增多,大数据交易也随之应运而生。大数据交易可以打破信息孤岛及行业信 息壁垒,汇聚海量高价值数据,对接数据市场的多样化需求,完善产业生态环境,实现数据 价值的最大化,对推进大数据产业创新发展方面具有深远意义。不过,国内大数据交易还处 于初级阶段,规范尚未统一,发展模式也处于摸索过程中。目前大数据交易有交易所模式、 电商模式、API 模式,大数据的价值通过数据确权、清洗、交易等形式得以释放和体现。 8 图表 5:中国大数据产业链交易层细分 (来源:贵阳大数据交易所) 大数据交易层细分主要包括大数据资产评估、大数据指数、大数据定价、大数据交易、 数据撮合、大数据基金、大数据信托、大数据期货、大数据融资、大数据确权、大数据托管、 大数据全生命周期管理、大数据交易标准等等。 1.2.5 大数据应用层 大数据的价值体现在大数据的应用上,人们关心大数据,最终是关心大数据的应用,关 心如何从业务和应用出发让大数据真正实现其所蕴含的价值,从而为我们的生产生活带来有 益的改变。对“大数据应用”,不同行业和不同应用者理解不同。大数据应用界定为:“利用 分布式并行计算、人工智能等技术对海量异构数据进行计算、分析和挖掘,并将由此产生的 信息和知识应用于实际的生产、管理、经营和研究中”。 9 图表 6:中国大数据产业链应用层细分 (来源:贵阳大数据交易所) 大数据应用层是大数据价值最大化一个环节。大数据产业的下游由大量公司组成,它们 基本上扮演的角色是大数据生态圈里的数据提供者、特色服务运营者和产品分销商,基本通 过开放平台和搜索引擎获取用户,处于产业的边缘地带。任何数据不经过分析这一环节,都 无法落实到实际应用。而且,在同样的数据面前,谁分析出的结果最有效,将决定谁才是真 正的“大数据”智能产业领跑者。 整体而言,全球的大数据应用处于发展初期,中国大数据应用才刚刚起步。目前,大数 据应用在各行各业的发展呈现“阶梯式”格局:互联网行业是大数据应用的领跑者,政府、 金 融 、电 信、交通、医疗等领域积极尝试大数据,其中政府、金融会在近几年呈爆发式增长。 1.2.6 大数据衍生层 大数据衍生层是指基于大数据分析和应用而衍生出来的各种新业态。大数据分析和应用 10 在经济社会各领域的扩散渗透,不仅促进相关产业生产率水平的提升,同时也衍生出很多与 之相关联的新兴产业,使得人类生产生活、工作消费方式发生根本性转变。 图表 7:中国大数据产业链大数据衍生层细分 (来源:贵阳大数据交易所) 大数据产业链衍生层目前主要包含互联网理财、互联网基金、大数据金融、大数据咨询、 大数据标准、大数据知识库、大数据双创平台等等。 11 2 全球大数据交易发展现状 2.1 全球大数据产业发展概况 随着大数据、云计算、物联网等新技术新应用向商业世界及公众生活的渗透,人类交流 和连接方式发生了剧烈变革,数据体量迎来了爆炸式的增长。大数据正在成为这个世界上最 重要的土壤和基础,成为一切管理和决策的依据。近年来,世界各国对大数据的关注程度日 益提高,试图通过扩大大数据应用范围,进一步释放大数据的潜在价值。实践也同样证明, 大数据与传统产业的深度融合和创新应用,能推动社会管理创新,带动各行业向信息化、网 络化、智能化发展,加速制造业、服务业等产业转型升级,激发新的经济增长点,提升产业 竞争力,增强国家安防能力,变革科研和教育模式。因此,在这个大数据兴起的共享经济时 代,如何获取数据和以及如何应用成为了全新命题。 大数据在经过前几年的概念热炒以后,逐步走过了探索阶段、市场启动阶段,当前已经 在接受度、技术、应用、交易等各个方面步入快速发展阶段。数据的公开共享必将打破行业 信息壁垒,提高生产效率,这也正是大数据产业发展最核心的价值和意义所在。 贵阳大数据交易所预计,2016 年全球大数据总体加速发展的趋势不变。随着技术的不 断发展以及使用维度的不断深化,数据的收集与应用不再是单一和孤立的,数据生态圈将逐 步成型,从而产生更多行业融合和发展机遇,这也是全球大数据市场规模能迅速扩大的一个 重要原因。 2.2 全球大数据市场分析 2.2.1 全球大数据产业市场规模 目前,大数据以爆炸式的发展速度迅速蔓延至各行各业。随着各国抢抓战略布局,不断 加大扶持力度,加之资本的青睐及投资,也使得全球大数据市场规模保持了高速增长态势。 总体来看,大数据进入了从概念到实际应用的关键转折期。 贵阳大数据交易所数据显示,2015 年全球大数据产业规模达到了 1403 亿美元,预计到 2020 年,这一数据将达到 10270 亿美元。随着数据资源的开放及使用逐步深入,应用创新 12 成为了大数据发展的主要驱动力。从目前市场发展现状来看,全球大数据企业数量迅速增多, 但伴随而来的则是产品和服务的差异度开始增大,市场竞争越发激烈。 图表 8:2014-2020 年全球大数据产业市场规模及增长率 从贵阳大数据交易所统计的指标分析来看,目前全球大数据发展主要还是以美国、欧洲、 亚洲这几个区域为主。预计到 2020 年,全球大数据产业发展美国仍将排名靠前,将占到 37.22%,中国紧随其后,占比为 20.30%。 图表 9:2020 年全球各地区大数据产业市场份额 2.2.2 美国大数据产业发展概况 美国政府将大数据视为强化美国竞争力的关键因素之一,大数据研究和生产计划已被提 13 高至国家战略层面。 图表 10:2014-2020 年美国大数据产业市场规模及增长率 2009 年至今,Data.gov(美国政府数据库)全面开放了 40 万联邦政府原始数据集,同 时宣布采用新的“开源政府平台”管理数据,代码将向各国开发者开放。从这个角度看,大 数据已成为美国国家创新战略、国家安全战略、国家 ICT 产业发展战略以及国家信息网络 安全战略的核心领域。 2012 年 3 月,美国奥巴马政府宣布投资 2 亿美元启动“大数据研究和发展计划”,这是 继 1993 年美国宣布“信息高速公路”计划后的又一次重大科技发展部署。以美国科学与技 术政策办公室(OSTP)为首,国土安全部、美国国家科学基金会、国防部、美国国家安全 局、能源部等已经开始了与民间企业或大学开展多项大数据相关的研究开发。美国国防部也 在积极部署大数据行动,利用海量数据挖掘高价值情报。美国中央情报局通过大数据技术的 应用,将搜集分析数据的时间由 63 天缩减到 27 分钟。大数据已经在美国健康医疗、公共管 理、零售业、制造业等领域产生了重大的经济效益。 14 2.2.3 欧洲大数据产业发展概况 图表 11:2014-2020 年欧洲大数据产业市场规模及增长率 (1)英国 在英国,大数据早已不是一个仅仅停留在科学论坛上被热议的新名词,越来越多的政府 投入、已经运营的高校大数据研究中心、不断涌现的商业运作成果,明确展现出英国正在开 启一个新的大数据科技时代。 从发展环境来看,2011 年 11 月,英国政府就发布了对公开数据进行研究的战略政策, 探索公开数据在商业创新和刺激经济增长方面的潜力。2012 年 5 月,世界上首个非营利性 的开放式数据研究所 ODI(The Open Data Institute)在英国成立,该研究所利用互联网技术将 全世界各门类数据汇总到同一平台,通过云存储等新兴技术手段实现海量存储。这一平台对 于融合来自不同国家、不同行业、不同类型的数据具有很大的帮助。同时,ODI 的研究范围 非常广泛,它不仅仅接收和存储数据,更重要的是对大数据的应用展开研究。2013 年 1 月, 英国商业、创新和技能部宣布,将注资 6 亿英镑(约 9.12 亿美元)发展 8 类高新技术,其 中,1.89 亿英镑用来发展大数据技术。2014 年,英国政府在大数据领域投入 2.6 亿英镑,其 中包括在 55 个政府数据分析项目中展开大数据技术的应用。同时,以高等学府为依托投资 兴办大数据研究中心,积极带动牛津大学、伦敦大学等著名高校开设以大数据为核心业务的 专业等。 在资金支持方面,英国政府为本国公司及有关组织提供更多机遇和便利,以获取欧盟研 15 究与创新资金——展望 2020(Horizon 2020),基金计划于 2014 至 2020 年推出。作为欧盟研 究与创新计划,该基金拥有超过 700 亿欧元预算,用以提升欧洲科学水平,同时将各类大数 据分析中心纳入“英国资本投资战略框架”中,促进大数据分析技术的研发与产业应用。 事实上,英国政府近年来通过大数据技术在公开平台上发布了各层级数据资源,并通过 高效率地使用这些数据提高政府部门的工作效率,刺激其他机构在数据获取和使用上的积极 性,直接或间接为英国增加了近 490 亿至 660 亿英镑的收入。英国政府预测,到 2017 年, 大数据技术可以为英国提供 5.8 万个新的工作岗位,并直接或间接带来 2,160 亿英镑的经济 增长。可以说,大数据的出现极大地促进了英国政府与相关公共机构工作方式的转变,推动 了大数据相关产业链的研究和发展,在商业上催生出更多可以借助其技术进行开发的新产品 类型与市场形式,进一步开放了企业的创新能力和竞争力。 (2)法国 法国政府为促进大数据领域的发展,将培养新兴企业、软件制造商、工程师、信息系统 设计师等为目标,开展一系列的投资计划。 从时间进程看,2011 年 12 月法国推出了公开的数据平台 date.gouv.fr,以便于公民自由 查询和下载公共数据。在上线的当天发布的第一批资源中就包含了 352,000 组数据。其覆盖 面非常广泛,包括国家财政支出、空气质量、法国国家图书馆资源等。 2013 年 2 月法国政府在其发布的《数字化路线图》中表示,将大力支持“大数据”在 内的战略性高新技术,法国软件编辑联盟投入 3 亿欧元用于推动大数据领域的发展,号召政 府部门和私人企业共同合作。4 月,法国经济、财政和工业部宣布,投入 1150 万欧元用于 支持 7 个未来投资项目。法国政府投资这些项目的目的在于“通过发展创新性解决方案,并 将其用于实践,来促进法国在大数据领域的发展。”7 月,法国中小企业、创新和数字经济 部发布了《法国政府大数据五项支持计划》,包括引进数据科学家教育项目;设立一个技术 中心给予新兴企业各类数据库和网络文档存取权;通过为大数据设立原始扶持资金,促进创 新;在交通、医疗卫生等纵向行业设立大数据旗舰项目;为大数据应用建立良好的生态环境, 比如在法国和欧盟层面建立用于交流的各类社会网络等;并计划于 2013 年至 2018 年在巴黎 创建大数据孵化器,通过公共、私营合作方式投资 3 亿欧元,大约有数百家大数据初创企业 可享受该项资助。 16 法国是传统的工业大国和经济强国,在信息化战略的推动下,法国互联网经济发展迅速。 伴随着互联网的普及和人工智能化水平的提高,法国大数据产业也逐步发展,渗透到社会经 济生活的多个领域,影响着人们的生活和工作,而城市管理、公共管理等国家功能的实现也 受到大数据的影响。 2.2.4 澳大利亚大数据产业发展概况 2012 年 10 月,澳大利亚政府发布《澳大利亚公共服务信息与通信技术战略 2012-2015》, 强调应增强政府机构的数据分析能力,从而实现更好的服务传递和更科学的决策,并将制定 一份大数据战略作为战略执行计划之一。2013 年 2 月,澳大利亚政府信息管理办公室 (AGIMO)成立了跨部门工作组——“大数据工作组”,启动了《公共服务大数据战略》(以 下简称为“《战略》”)制定工作,并于 2013 年 8 月正式对外发布。 图表 12:2014-2020 年澳大利亚大数据产业市场规模及增长率 《战略》以六条“大数据原则”为指导,旨在推动公共部门利用大数据分析进行服务改 革、制定更好的公共政策、保护公民隐私。这六条大数据原则分别为:数据是一种国家资产, 应被用于人民福祉;数据共享和大数据项目开发过程中严保用户隐私;数据完整和过程透明; 政府部门间以及政府与产业间应共享技术、资源和能力;与产业和学术界广泛合作;加强政 府数据开放。《战略》还决定成立数据分析卓越中心(DACOE),该中心将通过构建一个通用 的能力框架帮助政府部门获得数据分析能力,并促成政府与第三方机构合作以培养分析技术 专家。《战略》列举了 2014 年 7 月前需完成的 6 项大数据行动计划,分别为:制定信息资产 17 登记簿;跟踪大数据分析的技术发展;制定大数据最佳实践指南;总结明确大数据分析面临 的各种障碍;强化大数据分析的相关技术和经验;制定数据分析指南。 2.2.5 亚洲大数据产业发展概况 (1)中国 目前,中国经济已经进入了创新驱动转型的新阶段,需要发挥信息和数据的作用来促进 社会和经济的发展。鉴于大数据产业在经济、国家安全、社会、科研等方面的巨大价值和对 经济发展的适应性,中国各级政府和社会各界也纷纷制定相关政策推动大数据深入发展,并 于 2015 年将大数据发展纳入了国家战略。 从行业基本面来看,政府部门作为大数据资源的重要拥有者,其对数据资源的开发利用, 将为行业发展起到积极引领和推动作用。自 2012 年,国家已经陆续出台了与大数据应用相 关的产业规划和政策,从不同侧面推动大数据产业的发展。2012 年 5 月,国家工业和信息 化部发布了《通信业“十二五”发展规划》,这是中国较早推动云计算和大数据技术发展的 政策。同年,国务院颁发了《“十二五”国家战略性新兴产业发展规划》,提出利用信息技术 发展数字内容产业,提升文化创意产业发展,促进信息化与工业化的深度融合等意见。在关 键技术开发方面,开展移动智能终端软件、网络化计算平台与支撑软件、智能海量数据处理 等相关软件的研发和产业化。 2013-2014 年,随着政府的积极介入推广,以及大数据产业价值的不断扩大,地方政府 开始陆续出台关于推进大数据业发展规划,包括 2014 年北京中关村颁布的《加快培育大数 据产业集群推动产业转型升级意见》、贵州省《关于加快大数据产业发展应用若干政策的意 见》、重庆《重庆市大数据行动计划》等,而广东等地已经成立了专门的大数据管理局。 2015 年,在云计算爆发助推智能科技加速发展的大环境下,大数据产业从理论到应用 向前迈进了一大步,“大数据”一词也首次出现在《政府工作报告》中。2014 年 7 月至 2015 年 2 月这个时间段里,国务院常务会议一年内 6 次提及大数据运用,全年出台关于大数据的 政策多达 9 项。其中 9 月份国务院出台的《促进大数据发展行动纲要》,更是赋予了大数据 作为推动数据强国、提升政府治理能力、促进经济转型升级的战略地位。 时至今日,大数据已被广泛应用到政府公共管理、金融、交通、零售、医疗、工业制造 18 等领域,并催生了万亿元的产业。贵阳大数据交易所数据显示,2014 年中国大数据产业规 模大约为 1038 亿元,2015 年产业整体规模达到 1692 亿元。可以看出,随着大数据应用范 围的不断扩大,大数据所形成的价值正在快速拉升。 (2)日本 日本于 2013 年 6 月发布《创建最尖端 IT 国家宣言》,将实施数据开放、大数据技术开 发与运用作为 2013-2020 年的重要国家战略之一,希望以此契机将日本建成一个“具有世界 高水准的广泛运用信息产业技术的国家”。 图表 13:2014-2020 年日本大数据产业市场规模及增长率 从日本大数据在企业的应用发展现状来看,零售业企业的数据基础好、数据应用历史悠 久,在大数据的分析应用上显示了较高的水平;以交通道路为代表的基建行业的应用则显示 了大数据应用的多样性;互联网及电信业等作为信息通讯产业的重要力量,不仅具有良好的 数据基因,而且在实际业务的开展中取得了积极的效果。 日本经济研究所预测,大数据在各行业的未来发展趋势包括以下三方面:第一,大数据 在产品销售及新产品开发的 BI 关联 IT 投资将占其总额的半数以上。2015 年以前,本企业 的内部数据利用将占主导地位,而 2017 年以后能源管理系统等维护社会基础设施的系统需 求将会推动大数据市场的发展;第二,大数据市场在 IT 市场中所占的比重自 2011 年到 2020 年将会逐年增加,预计到 2020 年度,大数据市场在日本 IT 市场总额中将占 10%左右;第三, 日本 Gartner 的调查报告指出,大约有六成以上的企业目前正在积极考虑活用大数据。预计 19 到 2016 年,积极致力于大数据项目的日本大企业的数量将增加一倍,其中七成将有 IT 部门 之外的经营及事业部门的参与。 (3)韩国 据韩国数据化振兴院统计,自 2012 年以来,韩国大数据行业以 9%的年平均增长率不 断发展壮大。 目前,韩国正在打造“首尔开放数据广场”,以推动包括公共交通、天气预报等十大类 数据信息的社会共享。“首尔开放数据广场”包含 33 个数据库、880 个数据集,为用户提供 十大类的公共数据信息,并配有图表、数据、地图和网络连接等。据估算,这些公开信息产 生的经济价值将达到 1.2 万亿韩元,能够帮助私营企业创造多元化的商业模式和价值。 随着大数据行业的不断发展,企业对大数据的依赖度不断增加,数据专业人才需求也越 来越大。韩国数据化振兴院的数据显示,目前韩国数据产业从业人员达 30 万人,但其中与 数据直接相关的从业人员仅为 7 万人,人才缺口依然较大。 2.3 全球大数据交易平台概况 2.3.1 Factual Factual 创立于 2008 年,总部位于洛杉矶,致力于开发世界上最大的位置相关数据集。 目前已经积累了相当多的知名企业客户,其中包括一些大型搜索引擎、地图服务以及社交平 台、出版商、金融服务机构;另外,Apple Maps、Facebook、Microsoft Bing、MoPub 以及 万事达、First Data 等也是它的长期客户。 Factual 利用不断扩展的合作伙伴关系(绝大部分是移动 App), 收 集 近 6 亿活跃用户的 位置信息,建立了一个庞大的数据共享网络(现已建成 8300 万个位置的数据库,其中包括 中国地区数据库的有限免费开放),然后对收集到的数据进行清洗、整理、分层,再提供给 需要使用的开发者、企业和组织。这些开发者、企业和组织通过用户的位置轨迹数据、时间 信息等相结合,帮助判断个体的通勤路线、身份(如大学生、上班族)、爱好(如是否在某 些比赛时间出现在哪个队的主场上)等,从而帮助广告商有针对性地投放广告。 2015 年 12 月,Factual 获得了 3500 万美元的 B 轮融资,此轮融资由 Altpoint Ventures、 20 Andreessen Horowitz、Data Collective 等机构以及 Saif Mansour、Michael Ovitz 等个人投资者 参投,加上 2010 年获得的种子轮和 A 轮,其总融资额已达 6200 万美元。此轮融资所得将 用于产品核心能力的提升,以及在美国和英国扩大销售和营销等。 2.3.2 Infochimps InfoChimps 是一家在线的数据集市,它的主要数据集中在地理位置、社交以及网络。数 据提供者可以将数据集上传至 InfoChimps,供人免费下载或者以一定的价格销售。另外, InfoChimps 还提供很多 API 为用户调用,在超过一定数量的免费API调用限额后,InfoChimps 会向用户收取一定的费用。InfoChimps 的目标就是让每个人都能找到自己需要的数据集,自 2009 年发布以来,InfoChimps 已经获得了约 500 万美元的股权和债务融资。 2.3.3 Microsoft Azure Microsoft Azure 是一个开放而灵活的企业级云计算平台。它的主要目标是为开发者提供 一个平台,帮助开发可运行在云服务器、数据中心、Web 和 PC 上的应用程序。云计算的开 发者能使用微软全球数据中心的储存、计算能力和网络基础服务。 Azure 服务平台主要组件包括 Windows Azure、Microsoft SQL 数据库服务,Microsoft.Net 服务,用于分享、储存和同步文件的 Live 服务,针对商业的 Microsoft SharePoint 和 Microsoft Dynamics CRM 服务。 目前,全球“财富 500 强”中已经有 55%的企业采用了 Microsoft Azure,平均每天新增 100 个注册用户。 2.3.4 Fujitsu Fujitsu(富士通)是世界领先的日本信息通信技术(ICT)企业,提供全方位的技术产品、 解决方案和服务。 2013 年,日本富士通公司于当年春季建立企业保有的大量电子信息——“大数据”的 交易市场。不少企业计划通过分析购物网站上的购物记录以及出租车上安装的传感器获得的 交通堵塞信息,提升商品开发效率并打造新业务。富士通计划在 2016 年之前将参与企业增 至千家,并将交易中介服务培育为主力业务之一。 21 3 中国大数据产业发展现状 3.1 中国大数据宏观环境分析 3.1.1 中国大数据产业政治法律环境分析 (1)中国大数据产业管理体制分析 我国大数据产业发展目前还处于起步阶段,目前就大数据单独立法条件尚不成熟,政府 部门应在推进规划引导、完成标准制定、优化完善大数据发展环境等方面发力。 数据管理方面,应健全数据管理体制,设立专门管理机构;设立专门的决策、实施和协 调机构,负责数据开放、使用和保护工作的推进、监督、问责和协调;研究制定数据开放和 保护与政绩考核、国家采购和国家基金项目发放挂钩的措施。 组织结构方面,应分别设立数据的管理和保护部门,主管某一类型的数据开放、使用和 保护工作,比如在卫生行政部门、信息管理部门、银行业监督管理部门等设立相关机构专门 解决医疗服务行业、通信服务行业以及银行业的数据管理问题。 隐私保护方面,现有的法律体系仍面临两大挑战:一是法律保护的个人隐私主要体现为 “个人可识别信息”(简写 PII),但随着技术的推进,以往并非 PII 的数据也可能会成为 PII, 造成保护范围模糊;二是以往建立在“目的明确、事先同意、使用限制”等原则下的个人信 息保护制度,在大数据场景下变得越来越难以操作。而我国个人信息保护、数据跨境流动等 方面的法律法规,仍需进一步配套健全,这成为制约大数据产业健康发展的重要因素之一。 针对目前我国大数据发展中面临的种种问题,当务之急是制订国家大数据发展战略,从 国家需要和应用角度出发制订大数据的发展规划,尽快出台《信息保护法》和《信息公开法》, 紧紧抓住大数据时代到来的重大机遇。 具体操作上,将大数据产业涉及的法律法规纳入网络安全、个人信息保护的立法内容中, 以“网络安全立法”为范畴建立网络数据信息安全保护制度,着重解决网络数据信息安全保 障问题,依法确立“明确责任主体、完善自律机制”的原则,明确相关机构的责任边界。 对于网站、银行、医院等数据信息集中的机构单位,应从法律层面要求其保护客户信息, 严禁滥用,严禁外泄。要严肃追究将数据信息流向境外的单位和个人的法律责任,单位与泄 22 密人之间要承担连带责任。在“网络安全立法”的框架下,建立重点岗位和人员的特殊保护 制度。要求国家机关、涉及国计民生的行业以及数据信息集中的互联网企业等,确定网络信 息安全保护的重点岗位和人员,明确保密义务和责任,加强网络舆情分析、网络内容监管、 网络攻击应对、网络应急保障等方面的专业技能培训,提高网络信息安全保护能力,实施严 格的网络信息安全保护措施。 此外,应依法整合互联网相关机构的管理职能,建立健全具有中国特色并高效运行的网 络信息安全管理体制,以法律形式明确规定各个网络信息管理职能部门的职权和责任,尤其 是网络信息安全执法部门,完善各主管部门在维护网络信息安全工作中的主从关系和协同配 合机制,形成从技术到内容、从日常安全到打击犯罪的互联网管理规范,确保网络的正常运 行和网络信息的安全管理。 (2)我国首部大数据地方法规出台 2016 年 1 月 15 日,贵州省通过了《贵州省大数据发展应用促进条例》(以下简称为“ 《条 例》”),这是中国首部大数据地方法规,该条例将大数据产业纳入法治轨道,以立法推动大 数据产业蓬勃发展。条例的出台不仅是贵州作为大数据综合试验区迈出的坚实一步,对大数 据产业的健康发展具有很大的促进作用,更为重要的是,条例填补了中国大数据立法的空白。 《条例》对“云上贵州”相关内容作出了具体规定,在加快基础设施建设、设立专项资 金、融资支持、用地保障、税收优惠等方面也作出了部署,对数据共享开放的原则、政府部 门的职责以及大数据的采集、存储、开发、应用、交易等作出了规定,同时条例实行公共数 据开放负面清单制度,明确违反数据发展和应用相关主体的法律责任。 事实上,大数据使用权属一直以来缺乏明确界定,通过立法确定大数据的使用权属将推 动数据的开放利用,有利于保证大数据产业的健康发展。随着法律法规及政策环境的逐步完 善,中国的大数据产业将会迎来更加蓬勃发展的新局面。 (3)国家发布相关发展规划 中国作为世界第二大经济体,拥有独特的经济观察力和行动力。国内对于大数据的探讨 始于 1985 年学者李京基、姜兰、徐暄发表了《利用磁盘实现大数据量二维快速傅里叶变换 的方法》。 23 从 2006 年开始,国家开始正式发布一系列相关政策,不断扶持和引导大数据及相关产 业的发展。 图表 14:2006 年以来我国推动大数据产业发展政策汇总 序号 时间 政策 主要用途 1 2006 年 《2006-2020 年国家信 息化发展战略》 由中共中央办公厅和国务院办公厅制定,战略尤 其提到建立和完善信息资源开发利用体系。 2 2008 年 《中华人民共和国政 府信息公开条例》 旨在加大政府信息资源的公开和利用力度,之后 我国发布了一系列关于提高政府服务能力、信息 公开、资源共享和利用方面政策和建议。 3 2011 年 《关于深化政务公开 加强政务服务的意见》 由中共中央办公厅和国务院办公厅发布,旨在加 大政务公开力度,力图把公开透明的要求贯穿于 政务服务各个环节。 4 2012 年 《“十二五”国家战略 性新兴产业发展规划》 由国务院发表,提出发展以海量数据处理软件等 为代表的基础软件、云计算软件、工业软件、智 能终端软件、信息安全软件等大数据关键软件的 开发产业。 5 2013 年 《电信和互联网用户 个人信息保护规定》 由工信部发布,该规定进一步定义了个人信息的 范围,提出个人信息的收集和使用规则、安全保 障等要求,为大数据应用中的个人信息保护设立 了法律法规屏障。 6 2014 年 《政府工作报告》 该报告明确提出,“以创新支撑和引领经济结构优 化升级;设立新型产业创业创新平台”,在新一代 移动通信、集成电路、大数据等方面赶超先进, 引领未来产业发展。 7 2015 年 9 月 《促进大数据发展行 动纲要》 该纲要指出目前我国大数据发展的主要任务是加 快政府数据开放共享,推动资源整合,提升治理 能力;推动产业创新发展,培育新兴业态,助力 经济转型;强化安全保障,提高管理水平,促进 健康发展。 24 8 2015 年 10 月 《中共中央关于制定 国民经济和社会发展 第十三个五年规划的 建议》 在十八届五中全会通过的“十三五规划建议”中, 提出实施“国家大数据战略”,推进数据资源开放 共享。首次将大数据写入党的全会决议,这标志 着大数据战略正式上升为国家战略。 9 2016 年 1 月 《关于组织实施促进 大数据发展重大工程 的通知》 《通知》提出,将重点支持大数据示范应用、共 享开放、基础设施统筹发展,以及数据要素流通。 国家发改委将择优推荐项目进入国家重大建设项 目库审核区,并根据资金总体情况予以支持。 (来源:贵阳大数据交易所) 3.1.2 中国大数据产业经济环境分析 基于大数据、互联网与传统产业的融合,通过商业模式的创新同各行业、各种经济活动 紧密结合,由此提升全社会所有经济主体的效率。发展大数据产业就是发展现代服务业、推 动中国区域经济结构调整、提升中国产业结构高度的有效手段。一方面,作为软件及信息服 务业,发展大数据是发展信息产业、发展现代服务业的有效途径之一;另一方面,作为生产 性服务业,大数据可以基于技术创新,通过生产要素使用效率的提升来提升全社会资源配置 的效率。 大数据产业作为中国经济发展的新引擎,对经济社会发展乃至国家安全具有重要的战略 意义,应用大数据解决人民群众普遍关注的食品安全、大气污染、交通拥堵等就成为一种必 然。 未来,大数据将与传统产业逐步融合,在商业智能方面,研究、利用消费者在网上的行 为,可以随时随地精准定位企业用户群的真实需求和潜在需求。这对于传统制造企业而言, 无疑具备了预测未来的能力;与制造业、医疗等传统产业深度融合,衍生出材料数据服务业、 医药数据服务业、生物数据服务业等一系列战略性新兴产业。开发应用好大数据这一基础性 战略资源,有利于推动大众创业、万众创新,改造升级传统产业,培育经济发展新引擎和国 际竞争新优势。 3.1.3 中国大数据产业社会环境分析 人类社会的每一次进步,都是由新技术引发新一轮产业革命、进而引发政府管理和社会 治理模式的重大变革而推动的。目前,我国正迎来数量型劳动人口红利向质量型智慧红利和 25 技术红利的转型时期,创新和互联网下的智慧经济带来了巨大的二次红利发展,而制度和市 场环境的配合使得知识溢出效应转变为经济增长。 在公司建设方面,据统计,目前,我国有 32.50%的规模以上公司正在搭建大数据平台, 处于测试阶段;29.50%的公司已经在生产环境实践大数据,并有成功的案例和产品;24.50% 的公司已经做了足够的了解,开发准备就绪;基本不了解的只占 13.50%;而公司的大数据 相关研发团队中,29.11%的研发团队仅有 1-10人,次居第二的10-50人的规模占到了 25.77%, 两种规模的研发团队就超过了一半。可见,当下大数据的需求已不再局限于大型公司。预计 未来我国智慧经济年均增速约为 14%,而智慧城市在其中的贡献占比将达到 50%。以中国 GDP 年均增长率 6%计算,截至 2025 年,智慧城市的贡献有望达到 3.9 万亿。 在城市建设方面,大数据是城市各个领域能够实现“智慧化”的关键性支撑技术,智慧 城市是大数据实现应用的一大方向。大数据将遍布智慧城市的方方面面,从政府决策与服务, 到人们衣食住行的生活方式,再到城市的产业布局和规划,直到城市的运营和管理方式,都 将在大数据支撑下走向“智慧化”,大数据成为智慧城市的智慧引擎。 从欧美、日韩、新加坡等地较先进的智慧城市发展经验看,我国对信息技术及基础设施 的政策支持仍有红利释放空间,管理上将由“自上而下管理”向“更多市民和利益相关方参与、 以及更开放的数据和形式”转变,投融资模式也将从 PPP 向多种金融工具综合应用转变,而 最终盈利模式的落脚点还在于大数据运营。 政府大数据的开放为公共数据和行业数据融合奠定了基础,而大数据产业链和技术能力 也正逐步成熟。此外,数据应用场景的丰富使得智慧城市运营商从“系统设备+服务”的商业 模式逐步向“基于大数据运营的多样化增值服务”的商业模式转变。 总而言之,大数据将为人们认识世界和改造世界提供新的强有力工具,为促进经济发展 和社会进步提供新的原动力。 3.1.4 大数据产业技术环境分析 从中国大数据产业的环境看,中国在为大数据企业创业提供最好的土壤与环境。中国拥 有全世界最多的人口、全世界最多的智能设备、全世界最多的产生数据的 IT 系统,这意味 着中国一定会产生全世界最多的数据。 26 在过去几年,中国密集发布了一系列政策、纲要支持本土软件企业的发展,这不单单是 数据技术公司的机会,更多的是中国科技公司、IT 公司的机会。中国 IT 市场内公司的投资 也许并不会加快很多,但整个蛋糕里属于中国公司的机会越来越大,属于中国公司的市场份 额以每年 25%~35%的速度增长,这无疑是一个非常好的时机。 由于中国的劳动力成本,尤其是中低端劳动力成本逐年升高,很多企业不愿意雇佣更多 的员工,转而希望用 IT 技术,甚至是 DT 技术替代劳动力。IT 可能替代的是机械劳动,未 来 DT 可能替代的将会是需要智慧的劳动,比如股票分析师等。这样的过程与转变,使得资 本市场愿意在 B2B 领域投资,让中国的很多大数据企业得到契机。 3.2 中国大数据市场分析 3.2.1 中国大数据市场概述 据贵阳大数据统计来看,中国大数据产业市场在未来五年以内,仍将保持着高速增长。 预计 2016 年末,市场规模将达到 2485 亿元,而随着各项政策的配套落实及推进,到 2020 年,中国大数据产业规模或达 13626 亿元的高点。 图表 15:2014-2020 年中国大数据产业市场规模及增长率 从发展趋势来看,随着大数据相关产品及应用的不断普及,未来五年,应用层规模将逐 步增长。在技术层、数据源层以及衍生层的共同支撑下,应用市场规模份额将达到 40%至 3187 亿元。其中,交易市场规模虽然占比最少,但是正是由于他的存在,使得数据的交易 27 从法律上实现数据的合法化问题,以及实现了数据价值兑现。 图表 16:2020 年中国大数据细分市场占比 3.2.2 中国大数据细分市场分析 (1)数据源市场分析 2013 年被公认为中国的“大数据元年”,众多企业纷纷在该领域开展战略布局,各种形 式的大数据产品也层出不穷。丰富的数据源是大数据产业发展的前提,但从现状来看,我国 数字化的资源总量远远低于美欧。据贵阳大数据交易所数据显示,2015 年,中国数据源市 场规模同比 2014 年增长 47%左右,整体规模达到 152.31 亿元,到 2016 年底,数据源市场 规模将接近 200 亿元。未来,随着市场对数据的重视,数据源市场规模还会继续增长。 图表 17:2014 -2020 年中国数据源市场规模及增长率 28 而从另外一个角度来看,在未来五年中,数据源在整体市场份额中的占比会呈现一个下 滑的状态。因为随着数据的不断开发及采集,未来,数据的如何开发及更好的应用将会逐步 成为发展重点。 图表 18:2014-2020 年中国大数据数据源市场份额趋势 (2)大数据硬件层市场分析 2014 年我国大数据相关硬件市场在 451 亿元,到 2015 年已经达到 795 亿元的规模。随 着大数据相关产业的快速发展及应用场景的扩大,我国大数据硬件层市场将迎来一个崭新的 快速发展的局面。预计 2016 年市场规模将达到 1093 亿元,2020 年将突破至 2385 亿元。 图表 19:2014-2020 年中国大数据硬件市场规模及增长率 而从大数据硬件市场规模占中国整体大数据产业规模的份额来看,在 2015 年达到峰值 29 以后,2016-2020 年大数据硬件市场规模在大数据整体产业中将呈现一个阶梯式下滑的格局。 分析原因来看,或是因为随着 2013 年大数据概念爆发以后,硬件市场已经迎来了一波快速 的迭代更新。所以在 2015 年达到峰值以后,到 2020 年整体硬件的份额占比将逐渐下滑,不 过由于他的投入成本及技术门槛较高,从金额的角度来看却不是最低的。 图表 20:2014-2020 年中国大数据硬件市场份额趋势 (3)大数据技术层市场分析 2015 年,大数据技术层相关的市场规模达 389.23 亿元,相较于 2014 年增长 38.92%。 从贵阳大数据交易所统计的情况来看,目前对于大数据技术层面关注度最高的前五位是大数 据分析、云数据库、Hadoop、内存数据库以及数据安全。可以看出,随着人们对大数据了 解的逐步深入及应用的不断深化,大数据技术的发展将直接关系到大数据整体产业链的应用 及发展前景。 贵阳大数据交易所认为,大数据技术的发展,将是一个多学科融合的过程。预计到 2020 年,中国大数据技术相关的市场规模将达到 2044 亿元。 30 图表 21:2014-2020 年中国大数据技术市场规模及增长率 从中国大数据技术所占的市场份额来看,在 2014 年达到峰值以后,2015 年-2020 年开 始,每年将会下滑 2-3%。分析原因来看,随着前几年大数据相关技术的开发及应用,在一 定时间以内,更新迭代将会成为技术开发的重点所在。 图表 22:2014-2020 年中国大数据技术层市场份额趋势 (4)大数据应用层市场分析 中国大数据应用市场规模重点集中在政府和金融等领域,与这几个领域数据量大有关。 随着大数据应用市场的逐渐成熟,以及政府的不断推动,大数据应用行业正迈入高速发展期, 预计在 2018 年,将突破千亿大关至 1713 亿;与此同时,是它的市场份额也将逐步增长,到 2020 年,大数据应用的市场份额或将达到 40%,或能逐渐扛起大数据产业规模的近半壁江 31 山,大数据应用市场规模达到 5450 亿元。 图表 23:2014 -2020 年中国大数据应用市场规模及增长率 2015 年中国大数据应用这一细分领域仅占到大数据产业总规模的 13%左右,而这一比 例预计在 2016 年将有一定程度的提高,或达 16.5%,市场规模也将突破 400 大关亿元。 图表 24:2014-2020 年中国大数据应用市场份额趋势 (5)大数据交易层市场分析 目前,我国大数据已经具备了从概念到应用落地的成熟条件,与大数据相关的服务业也 迎来了飞速发展的黄金机遇期。基于大数据专业服务的产值服务规模下,2015 年,一批基 于大数据相关的数据交易所、公司发展的风生水起。据贵阳大数据交易所统计来看,去年大 数据相关交易的市场规模为 33.85 亿元。而在多源头、跨领域的关联分析才有可能形成更完 整的知识和更深刻的智能,数据资源的流通日益成为普遍认知和客观需求下,贵阳大数据交 32 易所预计到 2016 年国内大数据交易市场规模将达到 62.12 亿元,2020 年将达到 545 亿元。 从行业发展格局来看,2015 年各地加速建立大数据交易平台,在目前大数据价值日益 凸显的环境中,2016 年或许仍会有不同类型的地方性大数据平台加入进来;而随着地方性 大数据交易机构的增多,不同大数据交易机构的数据交易可能会出现。从行业占比份额来看, 2016 年-2020 年,大数据交易的市场份额将会持续上升。 图表 25:2014-2020 年中国大数据交易市场份额趋势 (6)大数据衍生层市场分析 通过大数据的支持,市场业态正在衍生出无限可能。可以看到,“互联网+”战略正在 改变各行各业的商业生态,更带来整个社会云计算、大数据环境的优化。一旦数据的获得更 加便捷、数据的分类更加科学、数据的利用更加精准,产品的灵活开发、精准定价将会成为 无限可能。 据贵阳大数据交易所统计的数据来看,2015 年,中国大数据衍生层规模在 102 亿元, 但随着应用场景的不断创新及升华,整个市场规模将在 2016 开始进入快速发展阶段;到 2020 年,市场的整体规模将达到 2521 亿元。 33 图表 26:2014-2020 年中国大数据衍生层市场规模及增长率 3.2.3 大数据产业竞争格局 3.2.3.1 大数据产业区域分布 我国大数据产业集聚区位于经济比较发达的地区,北京、上海、广东是发展的核心地区, 这些地区的信息技术产业基础良好,已经形成了较完备的产业链,产业规模也在不断扩大, 吸纳了全国比较优秀的信息技术人才,为相关企业向大数据产业迅速转型奠定了良好基础。 同时,在这些地区也涌现出很多初创公司加入到数据存储和数据分析的开发和研究中来。除 此之外,以贵州、重庆、武汉为中心的大数据产业圈,通过政府推动大数据产业发展的政策 引导,区域积极引进大数据产业相关企业,力图占领大数据产业制高点,带动区域经济发展。 34 图表 27:中国大数据产业圈分布 (来源:贵阳大数据交易所) (1)京津冀地区 依托北京,尤其是中关村在信息产业的领先优势,培育了一大批大数据企业,并将集聚 势能扩散到天津和河北等地,形成了京津冀大数据走廊格局。 中关村作为中国的“硅谷”,是中国互联网发展的引擎。在“京津冀”大数据产业一体 化发展的背景下,已经形成了“中关村技术研发——天津装备制造——张家口、承德数据存 储”这样分工合理、协同发展的大数据走廊发展模式。“十三五”期间,中关村目标引进 100 位大数据相关顶尖人才,100 个创业团队;布局人机交互、人工智能、虚拟现实等关键技术; 落地 5 家国际一流研究机构和 5 家交易评估机构;建成 30 个数据共享平台和 20 个创业孵化 平台;建设 3 个大数据产业园并落地 50 个大数据产业项目;培育 600 家拥有关键技术和 6000 家具有应用能力的企业;打造全球大数据创新中心。 (2)珠三角地区 依托广州、深圳等地区的电子信息产业优势,发挥广州和深圳两个国家超级计算中心的 集聚作用,在腾讯、华为、中兴等一批骨干企业的带动下,珠三角地区逐渐形成了大数据集 聚发展的趋势。 根据广东省的数据机房建设情况估计,当前广东省数据存储量约为 2300PB,成为了我 国重要的大数据产业集聚区域,培育了一批实力较强的大数据创新企业,呈现出“广深引领、 35 珠三角集聚、粤北东西紧随”的发展态势。 (3)长江三角洲地区 将大数据与当地智慧城市、云计算发展紧密结合,吸引了大批大数据企业,促进了产业 发展。上海发布《上海推进大数据研究与发展三年行动计划》,南京依托智慧城市建设,推 动大数据在城市管理和民生服务领域应用。 在杭州,既有以“阿里云”为代表的云服务基础设施提供商,又有以华为为代表的云工 程和云服务提供商,还有海量的云应用企业,云产业链日渐清晰。在十三五期间,杭州计划 培育包括阿里在内的 2-3 家国际知名百亿级云计算和大数据企业;打造 200 家中小型云计算 和大数据服务企业;带动信息技术业新增营业收入超过 1000 亿元,努力推动大数据发展与 云计算有机结合。 (4)中西部地区 通过积极吸引国内外龙头骨干企业,实现大数据产业的“弯道超越”。重庆发布《重庆 市大数据行动纲要》,积极引进国内外行业巨头;武汉于 2015 年成立了华中地区首家大数据 交易所-长江大数据交易所;西安计划在未来 5 年建成西部最大的互联网大数据中心。 2013 年起,贵州市率先把握大数据发展机遇,将大数据产业视为经济“弯道超车”的 重要砝码,成为了我国大数据产业创新试验区,努力打造从技术研发到数据收集、挖掘、分 析、处理、应用等大数据全产业链,并率先成立大数据公共平台、大数据应用展示中心、大 数据交易所和大数据战略重点实验室,建成了贵阳高新区,聚集戴尔、博科等 700 多家大数 据相关企业。 3.2.3.2 大数据产业竞争格局 (1)互联网巨头领头大数据产业 国内互联网企业由于在拥有了海量的用户数据之后开始着手开展各类分析工作,用以支 撑自身的电子商务、定向广告和影视娱乐等业务。同时,在互联网产业 O2O 的趋势下,互 联网企业逐渐将业务延伸到金融、保险、旅游、健康、教育、交通服务等多个行业领域,极 大丰富了数据来源,促进了分析技术的发展,扩展了大数据分析在诸多行业的应用。 36 这种现象仅从阿里巴巴、百度和腾讯三大互联网巨头的情况即可得知:  阿里巴巴相关:淘宝、庆科互联网、芝麻信用、蚂蚁金服、数据魔方、高德地图、 阿里旅游、虾米音乐等等;  腾讯相关:广点通、面包旅行、大众点评、腾讯视频、四维图新、腾讯征信、腾讯 健康云、丁香园、可领航赛等等;  百度相关:百度云、爱奇艺、百度视频、百度地图、百度停车、去哪儿、作业帮、 无忧停车、百度数据平台、融 360 等等。 (2)热门行业应用竞争较大 我国大数据行业发展紧随全球发达地区步伐,正朝着蓬勃发展的方向不断迈进,特别是 2015 年,大数据产业全面进入快速发展的新阶段。从需求方来看,企业对于大数据应用的 需求持续增强,并着力培育自身的数据资产,各类大数据应用逐渐落地,并成为产业链的核 心。从供给方来看,新兴技术推动大数据技术环境趋向成熟,行业大数据应用逐渐丰富,大 数据生态系统多元化程度加强。 全球的大数据应用主要集中在金融、保险、电信、媒体、政府、交通、零售、公共服务、 医疗健康等。而由于我国国情不同,当前应热门行业主要集中在金融、电商、医疗健康、交 通、娱乐等领域。 九次方大数据目前深耕于金融行业,其产品服务主要有:1)银行大数据终端:精准营 销,风险控制,产业链金融,互联网金融;2)金融大数据平台:风险投资标的精准分析, 产业链投资价值分析;3)金融风险预警大数据:客户信贷风险实时监控,互联网全覆盖, 自动报警;4)农村金融云平台:汇集 8000 多种金融产品,联合农信伙伴,金融下乡。 图表 28:中国大数据应用领域企业 序号 领域 企业或机构 1 政府类 九次方大数据、国信优易等 2 金融类 九次方大数据、万德信息、同花顺等 3 医疗类 九安医疗、迪安诊断、精英天成等 4 气象类 墨迹天气、华风气象 37 5 环境及地理类 启迪桑德、雪迪龙、高德等等 6 生活类 小桔科技、无忧停车、电话邦等 7 物流类 Amazon、顺丰、联邦等 8 教育类 百度、新东方、华图等 9 媒体类 浙报传媒、今日头条、华谊等 (来源:贵阳大数据交易所) 纵观我国大数据产业的发展历程及现状,在数据交易领域存在一些比较优秀的企业,包 括九次方财富资讯(北京)有限公司、数据堂(北京)科技股份有限公司、国信优易数据有 限公司等。我国的大数据交易市场已初具规模,但是仍然有很多问题需要克服,主要包括: (1)大量数据源未被激活,大多数数据拥有者没有数据价值外化的路径; (2)需求端以互联网企业为主,覆盖面有限。在 O2O 趋势下,大型互联网厂商积极引 入外部数据支撑金融、生活、语音、旅游、健康和教育等多种服务。但是,与国外相比覆盖 面偏窄,我国的政府、公共服务、农业应用基本缺位,而电信和银行业缺少与外部数据的碰 撞; (3)诸多企业基于自身的海量高价值数据对外提供服务; 只有不断地克服以上这些难题,中国的大数据交易产业才能迎来蓬勃发展的势头。 38 4 中国大数据交易市场现状 4.1 中国大数据交易现状 4.1.1 中国大数据交易平台建设现状 出于对数据价值的认可,当前阶段一些企业在业务需求的拉动下,尝试采用限额等量交 换的方式进行数据交换,也有一些公司以就事论事的方式定价出售数据。但在缺乏交易规则 和定价标准的情况下,数据交易双方交易成本很高,直接制约了数据资产的流动,为了满足 市场需求,第三方数据交易平台应运而生。 目前,国内现有的数据交易平台主要有三种类型,一是以贵阳大数据交易所为代表的交 易所平台,包括湖北长江大数据交易所、陕西西咸新区大数据交易所等;二是产业联盟性质 的交易平台,以中关村数海大数据交易平台为主;三是专注于互联网综合数据交易和服务的 平台,比如数据堂等。 其中,贵阳大数据交易所(GBDEX)是全国乃至全球首个大数据交易所,于 2015 年 4 月 15 日正式运营,面向全国乃至全球提供数据交易服务。贵阳大数据交易所还聚合了相关 大数据企业、行业协会、投资机构、科研院所、政府部门等共同制定了首部大数据交易公约 ——《大数据交易所 702 公约》。交易所采用市场化运作模式,为买卖双方提供一个数据结 果交易的场所,交易数据的范围涉及政府、金融、企业、医疗、电商、交通、社会等 30 多 个领域。交易所实行会员制,具有会员资格的企业才能通过大数据交易所实现大数据交易。 目前,交易所已有腾讯、京东、华为、中国人寿、中国联通等 300 余家会员单位。 大数据交易以电子交易为主要形式,通过线上大数据交易系统,撮合客户进行大数据交 易,并定期对数据供需双方进行资格评估认定。除了提供大数据交易外,贵阳大数据交易所 还提供大数据清洗建模分析服务、大数据定向采购服务、大数据平台技术开发等增值服务。 作为数据价值的权威鉴证者,贵阳大数据交易所通过把大数据转换成真正有意义的资产, 让其在全球范围流通,并产生价值。同时,交易所结合贵州在大数据方面的发展战略,资源、 政策优势,在大数据交易方面树立起一面旗帜,引领中国大数据交易市场的发展。数据与数 据之间的碰撞产生一个核聚变的过程,交易所中买方对数据的需求并不只一个供应商提供, 可能是十家、百家数据供应商聚集起来的结果。这就是贵阳大数据交易所的价值所在。 39 4.1.2 大数据交易主要问题分析 4.1.2.1 数据流通与可交易的范围 数据流通开放对于政府、社会、企业、个人都是有利的。但数据可流通的内容不能涉及 到危害国家安全、企业商业机密、个人隐私等内容。 大数据是资产,但它必须经过清洗、分析、建模、可视化之后,才能进行流通交易。对 此,贵阳大数据交易所提出了“数据清洗”概念,可流通交易的数据并不是底层数据,而是 基于底层数据清洗后的可视化结果。因此,在使用大数据或者在进行大数据交易之前,都需 要进行数据清洗。未来我国大数据产业对数据清洗的需求量巨大,大数据清洗公司的成立, 也会产生大量的雇佣需求。 根据《中华人民共和国政府信息公开条例》,贵阳大数据交易所可流通交易的数据类型 有 30 多个数据品种,包括两类:政府政务数据、行业发展数据。 其中,可公开流通的政府政务数据包括: (1)政府审批信息数据; (2)财政预算决算和“三公”经费数据; (3)保障性住房信息数据; (4)食品药品安全信息数据; (5)环境保护信息数据; (6)安全生产信息数据; (7)价格和收费信息数据; (8)征地拆迁信息数据; (9)以教育为重点的公共企事业单位信息数据。 可公开流通的行业发展数据包括:医疗、金融、电商、媒体社交、教育、交通、物流、 零售、能源等各行业各领域的发展数据。 图表 29:可交易的数据品种及类型 序号 数据品种 核心数据类型 1 政府大数据 政府统计数据、政府审批数据等 2 医疗大数据 病历数据、就诊数据、药品数据等 40 3 金融大数据 企业数据、个体数据、个体户数据等 4 企业大数据 中小微企业数据、外资企业数据等 5 电商大数据 商品交易数据、药品流通数据等 6 能源大数据 石油、天然气等所有相关的数据 7 交通大数据 停车场数据、车辆位置数据等 8 商品大数据 电子标签数据、商品物流数据等 9 消费大数据 个人消费数据、个人征信数据等 10 教育大数据 学习轨迹数据、教育消费数据 11 社交大数据 与社交相关的所有数据 12 社会大数据 与社会管理、政府管理有关的数据 (来源:贵阳大数据交易所) 禁止流通交易的数据包括: (1)涉及国家机密等受法律保护的数据; (2)涉及他人知识产权、商业秘密、个人信息等权利的数据,除非取得权利人的明确 许可,否则禁止在交易平台上交易; (3)涉及以下内容的数据,禁止在交易所进行交易:危害国家安全,泄露国家机密, 颠覆国家政权,破坏国家统一的;损害国家荣誉和利益的;煽动民族仇恨、民族歧视,破坏 民族团结的;破坏国家宗教政策,宣扬邪教和封建迷信的;散布谣言,扰乱社会秩序,破坏 社会稳定的;散布淫秽、色情、赌博、暴力、凶杀、恐怖或者教唆犯罪的;侮辱或者诽谤他 人,侵害他人合法权益的。 4.1.2.2 数据所有权 数据所有权包含于数据产权的范畴里,按照 1996 年欧共体《数据库保护指令》,数据产 权被认定为是一种特殊的权利。数据所有权的界定,离不开产权的确定,即数据确权。数据 确权,主要是确定数据的权利人,即谁拥有对数据的所有权、占有权、使用权、受益权,以 及对个人隐私权负有保护责任等。从数据交易的角度理解,数据确权是为明确数据交易双方 对交易数据在责任权利等方面的相互关系,保护各自的合法权益,而在数据权利人、权利性、 数据来源、取得时间、使用期限、数据用途、数据量、数据格式、数据粒度、数据行业性质 41 和数据交易方式等方面给出的权属确认指引,以引导交易相关方科学、统一、安全地完成数 据交易。 数据的开发和利用,伴随着数据使用权的转移,而数据的所有权几乎不变。根据数据产 生的来源以及收集和占有的情况,可分为政府数据、企业数据和个人数据这三个方面。 (1)政府数据所有权 政府是拥有社会信息最多的机构。出于政府履行职能的需要,政府拥有的数据几乎涉及 到社会经济发展的全部原始数据,它们分散于政府的各个部门,为各个部门所拥有。这些数 据作为社会公共资源,所有权本质上属于全体国民,在保障国家安全、保护个人隐私与企业 商业秘密的前提下,大部分都向社会免费开放。 目前,世界许多国家政府部门和公共事业部门的数据都免费向社会开放,欧美国家的政 府和公共事业部门更是如此。美国政府筹建了一个 data.gov 网站,核心就是实现政府机构的 数据公开,从而使政府公开透明,截至目前已经开放了 91054 个数据库。2015 年 5 月贵阳 国际大数据产业博览会《大数据贵阳宣言》提出,大数据是全人类共同的资源和财富,“政 府数据开放是全球共同的目标和责任”,建立全球性的大数据交易市场是经济发展的必然要 求。 (2)企业数据所有权 企业的经济属性,决定了其所拥有的数据是和实体物产一起,同属于企业资产的一部分。 企业的数据所有权,表现在企业对所拥有的数据具有使用控制权、收益索取权,也拥有销毁 或修改及复制数据的权利。 随着互联网对社会经济生活的渗透,以及云计算技术的发展,那些原本很难收集、存储、 处理和加工使用的庞杂数据,其巨大的潜在价值开始被发现,进而发掘出有价值的信息,通 过各行各业的不断创新,将大数据的潜在价值转化为实际利益。因此,数据对于企业来说, 就好比是取之不尽用之不竭的最原始矿藏资源,有使用的机会成本为零和边际拥挤成本为零 的特点,可以不断被重复利用并不断发掘出新的信息。拥有数据的企业不仅可以自己挖掘利 用,也可以通过买卖数据发挥更大的效能,给自身带来更大的利益。 (3)个人数据所有权 个人存在及日常行为所产生的个人数据,作为数据的提供者,所有权毫无疑问属于个人。 个人数据,如身份信息肖像、消费习惯等原始信息,出于安全隐私的考虑,是不能直接交易 流通的,必须进行脱敏处理。若收集用户数据的机构与用户达成了直接合同,在合约规定的 42 范围内获取用户提供的独特数据,平台便获得了挖掘开发此类数据的权力。而因分析所得的 任何成果,其所有权都属于平台。当平台需要将挖掘权及利益转让给第三方时,则必须通过 一个合理可行的程序取得用户群作为一个整体的许可(如公开合作内容),而不再需要寻求 每一个用户的许可。由此可以看出,个人数据的所有权往往与搜集数据的平台紧密相连。 4.1.2.3 数据的质量评估与定价 (1)数据质量评估 数据质量影响着数据的利用。低质量的数据不仅浪费了传输和存储资源,也会给数据价 值挖掘带来一定的阻碍。制约数据质量的因素有很多,在数据生成、采集、传输和存储的过 程中,都可能影响数据质量。数据质量具体表现在准确性、完整性、冗余性和一致性上。虽 然有很多提升数据质量的措施,但是数据质量问题是不可能完全根除的。因此,需要研究一 种方法,可以对数据质量进行检测,并可以自行修复部分出现质量问题的数据。 针对数据质量问题的各个环节,包括数据清洗、数据整合、相似记录检测、数据质量评 估、数据质量过程控制和管理等,业界已进行了大量的学术研究和实际应用的探索。在这些 环节中,数据质量评估是提高数据质量的基础和必要前提,它能对应用系统的整体或部分数 据的质量状况给出一个合理的评估,从而帮助数据用户了解应用系统的数据质量水平,并采 取相应的处理过程提高数据质量。 目前国内与国外已广泛采用 ISO9000 产品质量评估标准体系,该体系建立于 1987 年。 ISO9000 标准体系适用于产品质量,而关于数据质量目前全球尚无通用的标准体系。鉴于数 据质量的重要性,国际标准化组织(International Organization for Standardization, ISO)从 2009 年起制定关于数据质量的 ISO8000 标准。该标准致力于管理数据质量,包括数据质量相关 活动、原则、术语、特点及检测等,以提高使用者在生产或服务过程中制定出高效、安全的 战略决策。ISO8000 标准包括四部分:总则、主数据、交易数据及产品数据。截止 2013 年, 总则和主数据两部分已经陆续发布,交易数据和产品数据的标准仍在制定过程中。开发 ISO8000 数据质量评估标准的重要意义在于,数据质量已经广泛影响生产和服务的各个环节, 数据质量评估标准的建立是确保产品和服务质量的前提,因此 ISO8000 数据质量评估标准 的建立是 ISO9000 产品质量标准的重要补充。 43 (2)数据定价 数据价格通常是影响交易成败的重要因素,同时又是市场中最难以确定的因素。定价的 目标是促进销售,获取利润。这要求市场主体中的供应方既要考虑成本的补偿,又要考虑消 费者对价格的接受能力,从而使定价策略具有买卖双方双向决策的特征。此外,价格还是市 场中最灵活的因素,它可以对市场做出灵敏的反映。 就数据交易而言,不同的数据获取来源决定了不同的定价机制。企业、个人和政府三者 既是数据资源提供者也是数据的使用者。根据数据资源的特性,在定价和付费机制上一方面 可参考一般行业比较健全的机制,另外一方面,由于数据资产本身的特性,在定价和付费上 需要突出特点。 影响数据定价的因素较多,包括数据品种、时间跨度、数据深度、数据完整性、数据样 本及数据实时性,不同品种的数据价格机制是不一样的。以国内贵阳大数据交易所的定价系 统为例,实时价格主要取决于数据的样本量和单一样本的数据指标项价值,而后通过交易系 统自动定价,价格实时浮动。数据交易的最终价格,由交易所撮合数据买卖双方,价格由卖 方与交易所最终确定。由于获取数据源不同,数据交易可针对每一个数据品种设计自动的计 价公式,数据买方可以通过交易系统查询每一类数据的实时价格。按成交方式,成交价分三 种形式: 1)自动成交:当数据买方应约价等于或高于卖方挂牌价时,按照数据平台自动撮合成 交,成交价为买方应约价格。 2)卖方选择成交:对于不能自动成交的应约,卖方可选择能接受的应约与其成交,成 交价为买方应约价。 3)数据分拆成交规则:因为数据买方不一定需要全部的数据样本,系统将对数据设定 拆分原则,系统自动报价,而后自动撮合成功成交。 (3)数据安全 安全与隐私问题是大数据发展过程中的一个关键问题,多项实际案例表明,即使无害的 数据被大量收集后,也会暴露个人隐私。实际上,大数据安全含义更为广泛,人们面临的威 胁并不仅限于个人隐私泄露,保护对象不仅包括大数据自身,也包含通过大数据分析得到的 44 知识。 与当前的其他信息一样,大数据在存储、处理、传输等过程中面临安全风险,具有数据 安全与隐私保护需求。而实现大数据安全与隐私保护,较之其他安全问题(如云计算中的数 据安全等)更为棘手,这是因为在云计算中,虽然服务提供商控制了数据的存储与运行环境, 但是用户仍然有办法保护自己的数据,例如通过密码学的技术手段实现数据安全存储与安全 计算,或者通过可信计算方式实现运行环境安全等。值得注意的是,在大数据的背景下, Facebook 等商家既是数据的生产者,又是数据的存储、管理者和使用者,因此,单纯通过 技术手段限制商家对用户信息的使用,实现用户隐私保护是极其困难的事。 大量事实表明,如果大数据未经妥善处理会对用户的隐私造成极大的侵害。根据需要保 护的内容不同,隐私保护又可以进一步细分为位置隐私保护、标示符匿名保护、连接关系匿 名保护等。 事实上,人们面临的威胁不仅来源于个人隐私泄露,还在于基于大数据对人们状态和行 为的预测。例如通过分析用户的 Twitter 信息,可以发现用户的政治倾向、消费习惯以及喜 好的球队等。一个广泛的误解是,企业常常认为经过匿名处理后,信息不包含用户的标识符 就可以公开发布。但事实上,仅通过匿名保护并不能达到隐私保护目标。例如,美国在线公 司曾公布了匿名处理后的三个月内部分搜索历史,供人们分析使用。虽然个人相关的标识信 息被精心处理过,但其中的某些记录项还是可以被准确地定位到具体的个人。 目前用户数据的收集、存储、管理与使用等均缺乏规范,更缺乏监管,主要依靠企业的 自律,用户无法确定自己隐私信息的用途。而在商业化场景中,用户应有权决定自己的信息 如何被利用,实现用户可控的隐私保护,比如用户可以决定自己的信息何时以何种信息披露, 何时被销毁。包括: 1)数据采集时的隐私保护,如数据精度处理; 2)数据共享、发布时的隐私保护,如数据的匿名处理、人工加扰等; 3)数据分析时的隐私保护; 4)数据生命周期的隐私保护; 5)隐私数据可信销毁等。 45 (4)数据交易标准与立法 1)数据交易的标准 数据交易的标准化需求分析:  从技术角度看 数据准备技术:通过标准规范化数据表示、元数据类型和操作方式,为数据的统一存储 提供基础。 数据存储技术:需要制定关于分布式文件系统、数据仓库的相关标准,解决多类型数据 的可靠存储问题。 数据平台技术:数据平台涉及到面向服务的体系结构(SOA)、数据并行处理(MapReduce) 等技术,我国在 SOA 标准化方面已研制了系列标准,具备了支撑大数据发展的良好基础。 在数据并行处理技术发面,需要制定接口规范,为上层应用的开发部署提供更好的互操作性 支撑。 数据处理技术:需要制定大数据分析技术要求、分析过程模型、可视化工具要求等标准, 以提高大数据处理产品的质量。  从市场角度看 改变经济社会管理方式。大数据交易提高了企业经营决策水平和效率,推动创新,给企 业、行业领域带来价值。 促进行业融合发展。在技术和业务的促进下,跨领域、跨系统、跨地域的数据共享成为 可能,大数据支持着机构业务决策和管理决策的精准性与科学性,社会整体层面的业务协同 效率提高。 推动产业转型升级。大数据环境下,ICT 产业面临着有效存储、实时分析、高性能计算 等挑战,这将对软件产业、芯片以及存储产业产生重要影响。 助力智慧城市建设。大数据与智慧城市是信息化建设的内容与平台,两者互为推动力量。 智慧城市是大数据的源头,大数据是智慧城市的内核。 46 通过研制大数据的质量评价指标、数据管理技术要求、数据访问接口规范、数据查询语 言等标准,为大数据的市场化应用提供支撑。 数据交易标准体系由六个类别的标准组成,分别为:基础标准、数据处理标准、数据安 全标准、数据质量标准、产品和平台标准以及应用和服务标准。 数据交易标准体系关系图如下: 图表 30:大数据交易标准体系 (来源:贵阳大数据交易所) 2)数据交易的立法 随着数据交易的兴起,我国应该加快相关法律的制订,提前布局,明确数据使用的界限 (包括哪些数据必须存储在境内的服务器上)。这既是对企业、个人信息的保护,也是对国 家“数据主权”的保护。  缺乏立法界定,信息被滥用 只要拿着手机等移动终端联上互联网,你就变成了各种应用软件后台服务器上的数据, 这些数据最终可以整合“还原”成一个完整的你,喜好、性别、身高、体重、住址等让你无所 遁形。一旦这些信息被滥用,后果不堪设想。 每一台移动终端的每一个软件背后都有一个后台服务器,它们无时无刻不在收集数据。 据有关机构研究,六成以上手机应用正在盗用用户个人信息。现在我们每个人都“被大数据” 了,但核心问题是,国内完全没有个人数据存储和使用的法规。缺乏立法所规定的界限,会 47 导致软件商滥用用户信息权限。  数据的安全性越来越受重视 事实上,世界各国和地区对于数据的安全都有相关的规定,不论是政府还是个人层面的 数据主权。 2014 年 7 月初,俄罗斯总统普京就签署了一项最新法律,规定所有收集俄罗斯公民信 息的互联网公司,都必须将这些数据存储在俄罗斯境内的服务器上。苹果、谷歌、Facebook、 Twitter 等互联网巨头未来也只能将用户个人数据信息储存在俄罗斯本地,而不是其位于美 国的总部。克里姆林宫称这是为了保护公民的数据安全。该法律将从 2016 年 9 月 1 日起生 效。加拿大卫生部也立法禁止本国电子病历数据在美国境内处理;而法国也针对目前大数据 服务供应商主要是美国企业提供的现状,启动“法式”大数据服务研究。这意味着,“网络 无国界”这一说法实际上并不成立。 与此同时,各国对于个人数据主权也越来越重视。在美国,各个州对于互联网企业将用 户的信息使用和保存到什么程度都有不同的规定。对于用户信息泄露造成的损失,联邦法中 有明确规定,因此一般企业不会将用户的信用卡等信息存储在自己的服务器上,因为一旦发 生意外,就会引发难以承受的高额索赔诉讼。而欧盟法院在 2015 年 5 月也立法支持公民的 “被遗忘权”,即互联网公司必须应公民要求删除个人留在互联网上的信息。  维护“数据主权”必须加快立法加强检测 即便是维护信息的数据主权,最终也还是必须依靠国家立法。同样,从保护国家的数据 主权来看,必须加快立法保护信息的安全。尤其必须明确界定哪些企业和个人的信息必须存 储在国内的服务器上,并且加强检测。而且从国家安全层面上来看,也必须加速针对数据主 权的立法。 目前除了要立法规范数据使用方法和流程以外,还必须加大对基于数据交易的关键安全 技术研发的投入,研究基于数据交易的网络攻击追踪方法,提升我国大数据的安全技术水平。 4.2 中国大数据交易规模 目前国内的大数据交易行业还处于初级阶段,未形成完整的交易规范体系。但是,中国 48 潜在的大数据资源非常丰富,从电信、金融、社保、房地产、医疗、政务、交通、物流、征 信体系等部门,到电力、石化、气象、教育、制造等传统行业,再到电子商务平台、社交网 站等,覆盖领域之广泛势必推动交易市场的快速发展。 在政府允许的数据隐私保护条例下,大数据将以一种资产的形式存在,随之诞生的将是 一个万亿级别的交易市场。如此庞大的大数据产业市场潜力,使得大数据交易平台成为一项 必需的基础设施。大数据交易平台,让信息不再是一座座“孤岛”。尽管中国当前大数据存 储和挖掘技术已经逐步成熟,但“数据孤岛”的大量存在,制约了数据的流通和变现。在大 数据时代要实现商业价值变现,需要实时对接数据市场的多样化需求,而平台化运营成为满 足这一产业需求的必要条件。唯有将数据进行合理定价,出现数据交易市场、交易指数,才 能真正带动大数据产业的繁荣。 庞大的大数据市场已催生出众多的大数据交易平台,并逐渐呈现出“跑马圈地”的竞争 态势,间接规范了我国大数据交易市场环境。近年来,随着数据拥有者对自身数据避险心理 的逐渐减弱和对外部数据引入的认知加强,政府对数据价值逐渐有了充分认识,大数据交易 相关的技术标准不断完善,我国大数据交易市场得到了快速发展。贵阳大数据交易所预测, 2016 年我国的大数据交易市场规模为 62.12 亿元。 图表 31:2014-2020 年中国大数据交易市场规模及增长率 4.3 贵阳大数据交易所发展现状 贵阳大数据交易所(GBDEX)是经贵州省政府批准成立的全国第一家以大数据命名的 49 交易所,2015 年 4 月 14 日正式挂牌运营并完成首批大数据交易。作为一个面向全国提供数 据交易服务的创新型交易场所,贵交所遵循“开放、规范、安全、可控”的原则,采用“政 府指导,社会参与、市场化运作”的模式,旨在促进数据流通,规范数据交易行为,维护数 据交易市场秩序,保护数据交易各方合法权益,向社会提供完整的数据交易、结算、交付、 安全保障、数据资产管理和融资等综合配套服务。 贵阳大数据交易所总部坐落于全国生态文明城市、贵州省省会贵阳,四个分中心分别布 局在北京、上海、深圳和成都。 贵阳大数据交易所注册资金 5000 万元,主要股东包括贵州阳光产权交易所、九次方大 数据公司、郑州市迅捷贸易有限公司和贵阳移动金融发展有限公司。 截至 2015 年底,贵阳大数据交易所交易金额已突破 6000 万元人民币,会员数量超过 300 家,接入的数据源公司超过 100 家,数据总量超过 50PB,已发生实际交易的会员超过 70 家。 贵阳大数据交易所全程参与了贵阳大数据产业顶层设计、产业规划和产业推动,当前正 在参与工信部《大数据产业“十三五”发展规划》,大数据交易标准、大数据技术标准、大 数据安全标准等国家大数据战略顶层设计,同时在全国布局三十个交易中心。 50 5 中国政府大数据发展现状分析 2015 年,中国两会期间的政府工作报告提出,制定“互联网+”行动计划,推动移动 互联网、云计算、大数据、物联网等与现代制造业结合,促进电子商务、工业互联网和互联 网金融健康发展,进一步明确了中国推动政府大数据产业发展的支持态度。 国务院于 2015 年 6 月 17 日在常务会议上决定运用大数据优化政府服务和监管,提高行 政效能。大力发展政务大数据,不仅在于打通部门壁垒、提高行政效率,更在于转变思维观 念,助力向智慧政府转型。大数据治国时代正式开启。 5.1 政府大数据的社会经济价值 5.1.1 提升政府管理效率 大数据作为一种重要的战略资产,已经不同程度地渗透到各个行业领域和政府部门,其 深度应用不仅有助于政府行政管理效率的提升,还有利于推动国民经济发展。在宏观层面, 大数据使经济决策政府部门可以更敏锐地把握经济走向,制定并实施科学的经济政策。在微 观层面,大数据可以提高企业经营决策水平和效率,推动创新,给企业、行业领域带来价值。 另外,大数据技术作为一种重要的信息技术,对于提高安全保障能力、应急能力、优化公共 事业服务、提高社会管理水平的作用正在日益凸显;在国防、反恐、安全等政府部门,应用 大数据技术能够对来自于多种渠道的信息快速进行自动分类、整理、分析和反馈,有效解决 情报、监视和侦察系统不足等问题,提高国家安全保障能力。 除此之外,大数据还将推动社会各个主体共同参与社会治理。网络社会是一个复杂、开 放的巨系统,这个巨系统打破了传统组织的层级化结构,呈现出扁平化特征。个体的身份经 历了从单位人、社会人到网络人的转变过程。政府、企业、社会组织、公民等各种主体都以 更加平等的身份参与到网络社会的互动和合作之中,这对促进城市转型升级和提高可持续发 展能力、提升社会治理能力、实现推进社会治理机制创新、促进社会治理实现管理精细化、 服务智慧化、决策科学化、品质高端化等具有重要作用。 大数据可提高政府效率,也可有效监督政府的权力。2015 年 8 月 31 日印发的《促进大 数据发展行动纲要》指出,大数据成为提升政府治理能力的新途径。建立“用数据说话、用 数据决策、用数据管理、用数据创新”的管理机制,实现基于数据的科学决策,推动政府管 51 理理念和社会治理模式进步,逐步实现政府治理能力现代化。 有了大数据的支持,政府管理工作将会更高效、精准、科学,并能有效约束公职人员、 监督公共资源的使用。国务院办公厅 2015 年 7 月发布的《关于运用大数据加强对市场主体 服务和监管的若干意见》指出,大数据“有利于政府充分获取和运用信息,更加准确地了解 市场主体需求,提高服务和监管的针对性、有效性”。 5.1.2 促进产业转型升级 网络环境、移动终端随影而行,网上购物、社交网站、电子邮件、微信在日常生活中不 可或缺,社会主体的日常活动在虚拟的环境下得到承载和体现。正如工业化时代商品和交易 的快速流通催生大规模制造业发展,信息的大量、快速流通将伴随着行业的融合发展,使经 济形态发生大范围变化。政府大数据应用的关键在于分享,各行业已逐渐意识到单一的数据 是没法发挥最大效能的,政府各部门之间相互交换数据已经成为一种发展趋势。虚拟环境下, 遵循类似摩尔定律原则增长的海量数据,在技术和业务的促进下,使跨领域、跨部门、跨地 域的数据共享成为可能,政府大数据支持着机构业务决策和管理决策的精准性、科学性以及 社会整体层面的业务协同效率提高。 大数据正在创新经济运行模式,将对经济转型升级产生重要意义。《促进大数据发展行 动纲要》明确指出,大数据持续激发商业模式创新,不断催生新业态,大数据产业正在成为 各地新的经济增长点。大数据促进政府、市场资源配置的高效与优化,推动政府、企业从粗 放式管理、生产转向“以用户为中心”,激发创业创新热潮。贵阳大数据交易所预测,在经 济增速放缓的背景下,将更加激励国内企业利用大数据挖掘增长潜力。 5.1.3 商业应用服务民生 大数据已渗入百姓生活的方方面面,柴米油盐、吃穿住行、学阅娱赏等传统的生活模式 正被深刻影响。《促进大数据发展行动纲要》指出,政府要利用大数据洞察民生需求,优化 资源配置,丰富服务内容,拓展服务渠道,扩大服务范围,提高服务质量,提升城市辐射能 力,推动公共服务向基层延伸,缩小城乡、区域差距,促进形成公平普惠、便捷高效的民生 服务体系,不断满足人民群众日益增长的个性化、多样化需求。大数据已经“润物细无声” 地渗入百姓生活,正改变着传统的生活方式。清华大学数据科学研究院执行副院长韩亦舜认 为,许多人都在无意识当中已经使用数据做决策了,出行前查路况、在手机软件上找附近餐 52 馆。同时,每个人也成为大数据的数据源,我们使用互联网的行为,都会产生数据。 5.1.4 助力智慧城市建设 信息资源开发利用水平,在某种程度上代表着信息时代下社会的整体发展水平和运转效 率。大数据与智慧城市是信息化建设的内容与平台,两者互为推动力量。智慧城市是大数据 的源头,大数据是智慧城市的内核。 政府大数据为政府管理提供强大的决策支持。在城市规划方面,通过对城市地理、气象 等自然信息和经济、社会、文化、人口等人文社会信息的挖掘,可以为城市规划提供强大的 决策支持,强化城市管理服务的科学性和前瞻性;在交通管理方面,通过对道路交通信息的 实时挖掘,能够有效缓解交通拥堵,并快速响应突发状况,为城市交通的良性运转提供科学 的决策依据;在舆情监控方面,通过网络关键词搜索及语义智能分析,能提高舆情分析的及 时性、全面性,全面掌握社情民意,提高公共服务能力,应对网络突发的公共事件,打击违 法犯罪;在安防领域,通过大数据的挖掘,可以及时发现人为或自然灾害、恐怖事件,提高 应急处理能力和安全防范能力。 政府大数据将提高城市居民的生活品质。与民生密切相关的智慧应用包括智慧交通、智 慧医疗、智慧家居、智慧安防等,这些智慧化的应用将极大地拓展民众生活空间,引领大数 据时代智慧人生的到来。大数据是未来人们享受智慧生活的基础,将改变传统“简单平面” 的生活常态,通过大数据的应用服务将使信息变得更加泛在、使生活变得多维和立体。 5.2 政府大数据应用市场规模 政府大数据产业,是指以政府为主体的大数据应用产业,通过对数据采集整理,描绘出 数字化的社会全景图,并通过对数据的分析,研究社会运转模式、规律,洞悉社会问题和国 际安全问题,帮助政府工作高效化、科学化开展,维护国家安全。政府大数据产业对各国的 社会影响深远而广泛,在大数据应用领域中占据着重要地位。政府大数据属于国家资源,不 但可以改善对民众和企业提供的公共服务,也可以为政府管理决策做有效参考。随着部委以 及地方各级政府的政务公开以及数据共享的持续推进,政府大数据产业逐渐成熟。 2014 年,政府大数据应用市场规模为 9.06 亿元,2015 年,政府大数据应用市场规模达 到 16 亿元。预计今后的 2-3 年内,政府大数据应用市场规模将成倍增长,2020 年政府大数 53 据应用市场规模将达 1907.5 亿元。 图表 32:2014-2020 年中国政府大数据应用市场规模及增长率 5.3 政府大数据应用现状 目前政府大数据市场正迎来历史最佳政策环境,政府大数据产业链也在逐步完善,国内 各地方政府各种类型的大数据库正在逐步建设。在此基础上,大数据在细分行业和垂直领域 的应用或将成为驱动市场继续快速发展的主要动力。随着政府大数据应用的高速增长,今后 政府大数据应用市场份额将稳步增长,预计到 2020 年,政府大数据应用市场规模将占大数 据应用市场的 35%。 图表 33:2014-2020 年中国政府大数据应用占比走势图 54 (1)政务大数据与智慧政府建设 大数据分析是智慧政府建设的基础之一。大数据分析通过对海量数据的深度挖掘与多维 剖析,可以比较准确地掌握政府服务和管理的变化动态,发现公众新需求。有效支持决策科 学化、治理精准化、商事服务便捷化和安全保障高效化,为智慧政府建设提供坚实的基础。 高效的决策是建立在对对象的客观全面了解基础之上的,大数据的应用恰恰为此提供了 重要支持;政务大数据的高效利用,还将推动有关政府部门和企事业单位将市场监管、检验 检测、违法失信、企业生产经营、销售物流、投诉举报、消费维权等数据进行汇聚整合和关 联分析,统一公示企业信用信息,预警企业不正当行为,支持加强事中事后监管和服务,提 高监管和服务的针对性、有效性;借助大数据实现政府负面清单、权力清单和责任清单的透 明化管理,完善大数据监督和技术反腐体系,推动改进政府管理和公共治理方式。 (2)政务大数据与普惠民生服务 结合新型城镇化发展、信息惠民工程实施和智慧城市建设,以强化大数据应用市场化为 基础,引导鼓励企业和社会机构开展创新应用研究,深入发掘公共服务数据,将在城乡建设、 人居环境、健康医疗、社会救助、养老服务、劳动就业、社会保障、质量安全、文化教育、 交通旅游、消费维权、城乡服务等领域形成大数据应用示范案例,推动传统公共服务数据与 互联网、移动互联网、可穿戴设备等数据的汇聚整合,开发各类便民应用,从而实现公共资 源优化配置和服务水平提升。 如贵州省 2014 年启动的“云上贵州”平台的建设,目前已经取得了良好成效。省网上 办事大厅已实现省市县三级审批服务部门全部入驻,初步实现“进一张网办全省事”的大审 批服务格局。 (3)政府大数据与商业市场空间 政府在履职的过程中形成了许多数据资源,虽然从数据量的角度来看它比社会经济生活 中产生的数据相对较少,但政府大数据的价值密度比社会数据资源价值密度高出许多。这决 定了政务大数据将是一个巨大的金矿,首先,政务大数据应用市场生态环境的构建将会有众 多厂商参与其中,政务大数据应用与平台建设分开招标或将成为趋势。通过建设大数据平台 而获得政府客户的黏性是其参与政务大数据建设的主要目的之一,大数据应用基础之上的政 55 务数据衍生业务最具高附加值。 5.3.1 公安大数据应用场景 近年来,平安城市建设飞速发展,各个街道、十字路口随处可见各种摄像机设备。随着 设备数量的增加,视频分辨率的提高,公安搜集到的视频和图片的数据量呈几何倍增长。大 数据技术可以助力公安业务强大的检索功能。它可以在几十亿甚至上百亿的卡口数据中实现 秒级的检索速度,还可以提供车型、车辆类型、车辆颜色、车牌颜色、精确车牌和模糊车牌 等多个维度的检索,可以真正满足公安用户的实战需求。还可以在海量的卡口数据中进行数 据挖掘,提取出对公安用户真正有价值的信息。例如轨迹分析、跟车分析、碰撞分析、昼伏 夜出等。大数据技术可以实现以前技术无法实现的快速检索和大数据挖掘,真正实现了公安 对卡口大数据的有效利用。 九次方大数据在公安大数据应用上创造性地开发了如社会治安事件预警决策平台、助力 打拐大数据平台、线上线下非法集资监管平台等应用场景,相关的解决方案和技术也比较成 熟,部分相关项目已实现落地,取得了预期的效果。 5.3.1.1 社会治安事件预警决策平台 大数据给传统的社会治安防控模式带来了颠覆式变革。在立体化社会治安防控方面,大 数据为改善社会公共安全,做好“打、防、管、控”工作提供了可能,具有深远的应用前景。 依托社会治安大数据分析平台系统,通过对道路监控数据:视频监控、卡口数据等;报 警信息数据,警务信息数据:人员、车辆等布控数据,网络、车辆监测数据;人口库数据: 户籍、人脸识别、亲疏关系等数据进行综合分析,社会治安维护可以通过实时监测治安数据 对各地治安状况实时预警,对已发生治安事件智能布控处理,减少人民群众财产损失。最 终 实现社会治安防控中的信息“一次采集、全网流转、全警共享”,并逐步形成“信息采集— 走访—盘查—研判—管控—抓捕”等环环相扣的社会治安防控信息体系。 “社会治安事件预警决策平台”这一应用场景,可以预警恶性治安事件,做到提前布控, 及时防范恶性事件发生,优化应对策略,提高布控效率,极大减少生命及财产损失。显示监 测各地点治安动态,发现可疑人员及可疑状况实时报警,并智能制定应对策略。 56 图表 34:社会治安事件预警决策平台场景示例 (来源:九次方大数据) 5.3.1.2 助力打拐大数据平台 全国拐卖儿童犯罪活动猖獗,受害人及受害家庭数以万计,打击拐卖儿童犯罪历来是政 府工作的难点。而且目前拐卖儿童的手段日益向集团化、产业化方向发展,从境内作案发展 到跨国作案,从单纯拐孩子传宗接代到强迫孩子做非法盈利活动,给公安机关破案增添了难 度。 “助力打拐大数据平台”主要是用于打击拐卖妇女儿童的行为及通过数据分析挖掘帮助 被拐妇女儿童重回家庭。在数据源端,集中收集虹膜数据、DNA 数据、人脸识别、指纹数 据、语音识别数据等,将居民的特征类数据进行存储形成数据库,通过聚类模型、特征模型, 对人员进行匹配,同时通过轨迹模型和流量模型,对被拐卖人员进行定位。 这一应用场景有三个突出的应用效果,一是通过人员登记,记录全面的基础数据(例如 指纹、DNA 等),并建立全国共享的查询库;二是人员验证不仅仅局限在身份证验证这一个 途径,而指纹验证、DNA 验证都是基础的验证手段;三是通过云计算,进行人员匹配,第 一时间获取被拐人员的定位,利于公安作出科学决策。 57 图表 35:助力打拐大数据平台场景示例 (来源:九次方大数据) 5.3.1.3 线上线下非法集资监管平台 非法集资是违反国家金融管理法律规定,向社会公众(包括单位和个人)吸收资金的行 为。这种犯罪行为持续周期较长、后果暴露滞后、涉案人数多的特点,会给案件的查处及后 续的债务清理清退等带来极大的困难。一方面经侦部门在侦破案件中,会面临涉事企业负责 人“跑路”难以控制,寻人取证难等问题;另外互联网技术的发展使非法集资犯罪手段不断 翻新、活动周期缩短、犯罪形式更加专业和隐蔽,也给案件侦破和处置带来极大困难。 “线上线下非法集资平台”汇集借贷人身份信息数据、借贷人行为预测数据、网络平台监 管数据、财经媒体报道数据和互联网金融数据等各类数据源,通过实时监测指标的不正常变 动,发现疑点,进行非法集资监管,及时采取相应措施,减少损失。具体操作上,可将借贷 人的身份信息、群众举报信息和其参加的经济活动数据进行匹配对比,对集资活动进行监管; 将借贷人的身份信息和活动行为信息结合,利于对非法集资人员进行抓捕。 这一应用场景既可以利向公安部门报送涉嫌非法集资的情报线索,帮助侦查破案,又可 以对经济活动进行监管,及时预防非法集资的发生,为政府执法工作提供决策支持。 58 图表 36:线上线下非法集资监管平台场景示例 (来源:九次方大数据) 5.3.2 质监局大数据应用场景 充分发挥质量大数据的应用效益,不断加强与各地质检部门的沟通,力求让线上发现线 下打击成为常态化的监管模式,做到切实保护消费者的权益,这将是未来的发展方向之一。 这涉及几个层面的基础,一是不同质量安全监管主体参与的大量数据信息;二是支撑大数据 存储和运算的 IT 基础设施;三是挖掘检验检疫大数据潜在价值并进行应用的能力。 九次方大数据基于大数据理念实现了以统一、全面的数据口径,对外以 webservice 等多 种方式提供数据互换共享,对促进大通关协作机制和实现“三互”、联通内部信息孤岛等发 挥了积极作用,在质监局大数据应用上开发了精准抽检平台、精准打假大数据、进出口疫苗 监测大数据平台等应用场景,完成了“网上发现、追溯源头、属地查处、网上产品质量监管 新模式”的创新尝试。 5.3.2.1 精准抽检平台 检验检疫监管模式目前包括“负面清单”管理、风险分类管理、可溯源管理等多个类别。 通过负面清单管理,在备案环节中管好准入商品,关口前移,降低检疫风险;数据的自动化 处理可以有效促进备案、审单、查验、检疫处理等自动对碰,筛选,从而把分类管理、诚信 管理、黑名单、负面清单、布控规则等集合起来自动处理,减少人工干预;二维码溯源管理 系统在管理上既方便检验检疫部门出区核销,更方便经营企业应要求实施不合格产品召回。 质检部门领导层要做到宏观把控跨境商品的总体情况,需要横向汇集抽检工作中的问题点和 59 难点,纵向穿透至相关明细数据,从而增强精准抽检的有效性。精准抽检平台的效用正在于 此。 首先对国内外新闻舆情(疫情、污染、安全事件等)、工商局企业信息、商品备案信息、 产品流通、运输信息、检验检疫项目、集装箱使用、卫生状况、境外检测信息、国内外禁运 及危险品目录等数据源进行提取,在充分整合业务数据、官方数据和互联网公共信息形成的 大数据资源基础上,以物联网技术为核心获取进口商品全生命周期信息,量化不同对象、来 源、检验方式的商品的抽检标准值及效果,最终实现跨境商品有效监管,加快物流通关速度, 降低贸易成本,为监管部门提供风险管理和后续处置的辅助决策。 图表 37:精准抽检平台场景示例 (来源:九次方大数据) 5.3.2.2 精准打假大数据 为了提升消费品生产企业整体质量状况,提高企业质量主体的责任意识,用实际行动保 障广大人民群众的消费安全,精准打假通过对报检数据、产品生产数据、企业数据、工商部 门数据、舆情数据等数据的汇集和分析,实现总体产品质检结果跟踪分析和假冒伪劣产品曝 光数据精准查询,借助真实产品生产质量测评分析透视表和产品真假查询平台等工具,可用 于用于质检部门领导层宏观把控产品的总体情况,做到横向汇集打假验伪工作中的问题点和 遗漏点,纵向穿透至相关明细数据,明确产品假冒的方面,提高打假的精确性和有效性。 在这一应用场景中,领导可对整体产品的生产做结果掌控,覆盖产品应用的前、中、后 60 各个阶段,同时也支持地区、时间全检索;还可对真实生产情况、打假检验做深度了解,支 持地区、时间全检索;对打假验伪工作人员进行绩效考核,对其工作可追溯。 图表 38:精准打假大数据场景示例 (来源:九次方大数据) 5.3.2.3 进出口疫苗监测大数据平台 国务院总理李克强 2016 年 4 月签署第 668 号国务院令,公布《国务院关于修改〈疫苗 流通和预防接种管理条例〉的决定》(以下简称《决定》),自公布之日起施行。该决定主要 针对山东济南非法经营疫苗系列案件暴露出来的问题,坚持问题导向,坚持突出重点,着力 完善第二类疫苗的销售渠道、冷链储运等流通环节法律制度,建立疫苗全程追溯法律制度, 加大处罚及问责力度,坚决保障接种安全,有力维护人民群众生命健康,迅速回应国内外关 切,有效提高政府公信力和执行力。 “进出口疫苗监测大数据平台”将世界卫生组织检测数据、海关检查数据、工商局数据、 内地接收单位数据和舆情数据等放在数据库中,通过进出口疫苗监测基本情况调查跟踪分析, 进出口疫苗产地、运输、交易透视表,结合国内权威机构以及世界卫生组织检测合格疫苗批 次数据等,协助质检部门领导层宏观把控进出口疫苗的生产、检疫、流通使用情况,做到横 向汇集疫苗检测工作中的漏点和难题点,纵向穿透至相关明细数据,保证进出口疫苗的合法 性和安全性。 61 通过这一大数据应用,领导可对进出口疫苗的流通做基本掌控,监测国内疫苗的规范使 用,覆盖涉及的各个国家、城市、地区,同时也支持地区、时间全检索;实现不同疫苗的流 通去处全程跟踪和不合格疫苗的迅速召回。 图表 39:进出口疫苗监测大数据平台场景示例 (来源:九次方大数据) 5.3.3 财务大数据应用场景 税务的大数据应用可以从宏观和微观两个层面来展开。微观层面的主要目标是提高企业 纳税遵从度,查处涉税企业的违法、犯罪行为,保证财政收入的稳定发展。宏观层面通过税 收相关的指标分析,反应宏观经济的真实状况,对国家出台的政策进行后续的效果评估,对 税收工作本身的开展进行成本效益的分析。 5.3.3.1 逃税漏税追踪大数据 大数据在防范偷税漏税方面的应用,面临的最大的问题是数据的采集和整合。这一应用 场景将整合税务数据(税务局)、工商数据(工商局)、九次方舆情数据、九次方企业财务数 据,涉及社保、海关、银行、财政、保险、交通等多部门、多行业数据。在此基础上通过建 模分析企业的运营状况,对比企业运营状况与税收关联,通过建模分析企业关联关系等实现 路径,把控涉嫌逃税漏税企业(包括关联企业)情况,做到横向汇集环评工作中的问题点和 风险点,纵向穿透至相关明细数据,从而增强税收工作的监控能力。 62 在应用场景中,可以查看某个地区涉嫌逃税漏税企业情况,包括数量、金额等;完成对 比年份同期,对比涉嫌逃税漏税的对比分析;同时查看涉嫌逃税漏税的企业的关联企业情况。 图表 40:逃税漏税追踪大数据场景示例 (来源:九次方大数据) 5.3.3.2 税费改革效果追踪及辅助决策平台 税收和收费一直是财政收入的主要形式,我国现阶段实施的税费改革,针对主要领域的 税费关系进行的调整和完善,从而进一步规范分配制度,理顺国家、集体与公众间的分配关 系,其主要内容包括农村、公路交通和房地产税费改革。税费改革成功与否,很大程度上取 决于相关配套改革能否到位,要做到这一点,税费改革的效果评估追踪和辅助决策非常重要。 税费改革效果追踪及辅助决策平台的主要功能是追踪税费改革执行力度及效果,通过数 据反馈,制定针对性的优化政策;同时,该系统还将使辖区税收预测更趋精准,从而制定更 符合实际的财政预算规划体系。 在这一应用场景中,数据来源有几个主要的类别,一是企业信息数据、企业经营范围数 据、营业收入数据,主要来自工商局;二是税收收入数据、偷税漏税数据、改革前后对比参 数、举报数据等,主要从税务局收集;三是预算数据、拨款数据、预算外支出数据、财政支 持数据等,主要从财政局获取;四是审判数据和执行数据等来自公安局、司法局、法院等部 门的数据。 通过如全国税收情况趋势评估模型、营改增试点行业减税统计、当年税收行业排行榜、 63 企业排行榜及预算分配合理性透视表等实现路径,领导可通过该系统监管税收政策执行情况; 还可通过效果反馈,针对性地优化政策,实现资源应用优化;同时对辖区整体税收情况更趋 精准预测,从而制定更符合实际的财政预算规划体系。 图表 41:税费改革效果追踪及辅助决策平台场景示例 (来源:九次方大数据) 5.3.3.3 公共资源项目及资金监管大数据 公共资源项目涉及招投标活动、政府采购、土地招拍挂、矿产资源交易、交通公路工程、 水利工程、产权交易等各类事项,对项目及资金的监管,可以有效对财政集中支付、扶贫、 社保、库区移民、新农合、救灾和民政系统的各项资金及捐款、拉动内需等资金运行情况进 行梳理,纳入行政权力公开透明运行系统,实现监管部门与相关单位的数据共享,并对原始 数据进行清洗、转换、加工、规划、校验、和存储,通过建模分析、实时监管,切实解决虚 假信息、资金漏洞等问题。 这一应用场景中,数据来源主要包括:财政局、地税局、国税局等部门的区域经济收入 数据;工商局、质监局的区域企业信息数据、经营范围数据、产品质量数据等;海关、国企 及部分金融机构的市场资源数据;财政局、工商局、旅游局、医院、卫生局、水利局、林业 局、农业局等部门的公共资源数据;以及实时监控到的网络舆情数据。 在实现路径上,首先通过对多种数据类型及数据来源的汇总、实现数据的实时更新,采 用自动处理和人工处理相结合的方式,对工作流程、业务规范、账务规范三个方面进行监管, 64 完成数据归集模块、事前预警模块、事中监控模块、事后分析模块等功能模块,最终落实政 府部门管理权、办理权、监督权三权的相互分离与制衡,实现公共资源的高效运转和集中监 管和事前预警、事中控制、事后分析的动态式监管。 图表 42:公共资源项目及资金监管大数据场景示例 (来源:九次方大数据) 5.3.4 交通运输大数据应用场景 随着手机网络、全球定位系统/北斗车载导航、车联网、交通物联网的发展,交通要素 的人、车、路等的信息都能够实时采集,交通大数据来源日益丰富。在日益成熟的物联网和 云计算平台技术支持下,通过交通大数据的采集、传输、存储、挖掘和分析等,有望实现城 市交通一体化,即在一个平台上实现交通行政监管、交通企业运营、交通市民服务的集成和 优化。 九次方大数据针对交通运输设计的场景中,集成城市公共交通采集的站台、线路、道路、 活动场所的交通数据,研发 MapReduce 框架下的海量交通流融合与预测算法,针对复杂交 通系统行为的不可预测性,充分考虑简单对象的主动性和随机性,从行为生成的角度出发实 现对城市公共交通系统的“等价”描述;同时,针对城市公共交通的运营与管理需求,通过 计算实验和涌现观察,生成实时、未来和各种可能情况下的交通场景,包含正常条件下的交 通环境,还包括交通事故、恶劣天气、突发事件等异常条件下的交通环境;最后,通过实际 交通系统与人工交通系统之间交互运行和过程演化,实现城市公共交通运行数据分析与调度 65 方案演练,并为交通管理者和出行者提供基于位置的交通服务信息。具体应用场景包括高速 公路管理与执法大数据、城市轨道交通布局规划大数据和公路施工安全监督大数据等。 5.3.4.1 高速公路管理与执法大数据 高速公路管理是一个管理主体多元、管理内容广泛、管理程序复杂的领域,其管理职能 的界定、管理权限的划分和机构的设置都很特殊,难度很大。我国高速公路事业是在完全没 有经验的条件下实施的管理领域,而“公路法”关于高速公路的管理规定又十分原则;许多 问题都赋于各级地方政府(尤其是省级政府)自行解决,例如关于对国道、省道(包括高速 公路)的管理与监督职责,由省、自治区、直辖市人民政府确定;规定各地县级以上交通主 管部门决定公路管理机构并确定其管理职责等等。 “高速公路管理与执法大数据”通过分析周边区域的经济形势、人口状况、产业结构, 高速公路车流量变化、通行费收入状况、路网结构等,进行流量预测与分析。高速公路相关 运营主体在对应领域,通过大数据分析来开展市场营销工作。所涉及的主要数据源是交通运 输数据和公安数据,分析路径上主要包括对周边经济形势、人口状况、行车流量进行分析, 在对高速公路营运、道路交通安全管理及养护数据进行分析与预测的基础上,为管理与执法 制定最佳解决方案,辅助政府对高速公路的管理及制定相关法规与政策。 5.3.4.2 城市轨道交通布局规划大数据 随着社会的不断进步,城市的规模也在不断扩大中,随之而来带给我们的问题就是交通 拥堵,出行不便,上下班在路上耗费的时间太长等等问题,给人们的生活带来了巨大的烦恼, 自从城市轨道车辆开始进入城市交通系统后,给人们带来了许多便利条件,但是近些年来城 市轨道车辆不断增多,在哪里建设城市轨道?如何更好地利用城市轨道列车成为人们研究的 对象,随着这一话题而来的就是如何更好的对城市轨道交通布局规划。 “城市轨道交通布局规划大数据”在这样的背景下应运而生,将交通部门数据、物价局 数据、国土数据和舆情数据等置于数据库中,通过大数据技术,可以对轨道交通布局的沿线 地理特征、规划沿线的商贸情况,以及规划沿线的客流量信息等进行综合分析,合理地制定 出最优的布局方案。 城市轨道交通作为国内外众多大城市客运交通运输的主体或骨干,对其城市社会经济发 66 展起到了重要促进作用。预计到 2050 年我国城市轨道交通总里程将超过 4500km,可以看到 我国大规模发展城市轨道交通的时代已经来临,对城市轨道交通布局进行科学规划,可以充 分发挥城市轨道交通占用地面空间小、节能环保等优势,为智慧城市建设出力。 图表 43:城市轨道交通布局规划大数据场景示例 (来源:九次方大数据) 5.3.4.3 公路施工安全监督大数据 随着公路施工市场不断发展,竞争不断加剧,施工管理体制、经营机制、利益分配等也 在发生深刻变化,因而增加了公路施工生产安全的复杂性。事故统计分析表明,公路工程建 设安全生产五大伤害事故依次是坍塌事故、高处坠落事故、车辆伤害事故、触电事故和物体 打击事故,占所有事故总和的 81%。而由于公路工程建设自然环境条件复杂,工程规模宏 大,工程建设事故常常带来重大的经济损失和大量的人员伤亡。 “公路施工安全监督大数据”汇集交通部门数据、国土数据及使用工具数据等数据源,通 过对公路施工过程中的作业环境数据、使用工具数据进行分析,实现对公路施工的过程监管、 对作业环境的天气情况、地理特征的指标监管,立体式对公路施工过程中的安全问题进行监 管,可以帮助交通管理部门对公路施工过程中的安全情况进行监管。 67 图表 44:公路施工安全监督大数据场景示例 (来源:九次方大数据) 5.3.5 食药监大数据应用场景 每个食品药品的经营内容很少有完全重合的。光靠人脑,很难完全记住每个企业具体的 经营内容,也就难以有效监管。而大数据可以很好地解决这一问题,通过分模块进行信息比 对、结合,可以动态生成各个经营主体独有的监管清单;还可以横向对企业自检与政府巡检 抽检、市民举报投诉等信息进行综合比对、打分以及分级管理,倒逼承担食品药品安全主体 责任的企业诚信、规范经营,从源头上保障食品药品安全。 九次方大数据在食药监大数据应用上开发了食品检验检测大数据、药品安全电子监管追 溯平台、大数据精准禁毒平台等多类应用场景,将经营主体信息、食品药品产品信息、抽检 信息、日常检查信息、专项检查信息等各类信息进行分析和预测,助力食品药品监督和管理。 5.3.5.1 食品检验检测大数据 国家食药监总局 2014 年 12 月发布《食品安全抽样检验管理办法》规定,国家食品药品 监督管理总局建立食品安全抽样检验数据库,定期研究分析食品安全抽样检验数据,完善并 督促落实相关监督管理制度;县级以上地方食品药品监督管理部门应当加强信息技术建设, 按照相关要求及时报送食品安全抽样检验数据。食品药品监督管理部门应当按照科学性、代 表性的要求,制定覆盖食品生产经营活动全过程的食品安全抽样检验计划,实现监督抽检与 风险监测的有效衔接。 68 “食品检验检测大数据”以农业局、工商局、质监局、食药监督局、卫计局等政府部门 数据,交通运输、储存数据,实验室检测数据以及网络舆情数据为基础,通过食品检验检测 结果分析,制作食品生产、储存方式、储存时长数据分析透视表,实现食品传感检测数据精 准查询等,用于食药监部门领导层宏观把控食品检验检测的总体情况,做到横向汇集食品检 测工作中的困难点和遗漏点,纵向穿透至相关明细数据,明确处理结果与反馈时间,确保食 品安全性。 借助于这一大数据平台,选择具体的地区维度、时间维度,显示该维度下的食品检验检 测情况,显示该地区食品总类,每日食品抽检品类、抽检数量、检测指标、抽检明细、检测 结果、处理方法以及具有重大危害成分的食品种类。领导可对整体食品检验检测事件处理做 结果掌控,同时也支持地区、时间全检索;可对食品检验检测的处理流程、结果报告、赏罚 办法等做深度了解,支持地区、时间全检索;对食品检验检测工作人员进行绩效考核,对其 工作可追溯;对整体食品检验检测工作的社会满意度进行分析,地区和时间维度可调。 图表 45:食品检验检测大数据场景示例 (来源:九次方大数据) 5.3.5.2 药品安全电子监管追溯平台 按照《国务院办公厅关于进一步加强药品安全监管工作的通知》等相关文件的规定,加 快建立重点药品安全追溯体系,强化药品质量安全监管,确保公众用药安全,在特殊药品监 控信息网络基础上,进一步加强药品电子监管,完善药品标识制度,建立全国统一的药品电 69 子监督管理网络,有助于分类分批对药品实施电子监管。 “药品安全电子监管追溯平台”的主要数据源囊括了药品生产企业数据、质量安全检测 数据、药品流通环节数据、药品销售数据以及消费者投诉、反馈数据,通过对药品数量和流 向进行实时监控,实现药品全过程监管。同时建立药品电子监管追溯系统项目专项考核机制, 确保公众用药安全。 这一平台利用高科技、信息化手段建立起一套完整、规范、长期有效的食品药品安全监 督管理体系和应急指挥调度系统,全方位掌握药品全产业链数据,以及各地区药品安全数据, 分析各个地区药品安全形势;还可根据药品各环节数据,分析某地区药品不安全情况的多种 原因。进而实现全程监控、追溯以及药品的安全防伪与追本溯源,解决药品经营及安全监管 等方面存在的诸多问题。有利于促进生产规范,迅速处理药品质量安全突发事件;严格管理 药品质量安全,提高药品质量总体水平;监督管理药品相关产品生产加工环节的质量安全; 组织查处生产和加工的质量违法行为。 图表 46:药品安全电子监管追溯平台场景示例 (来源:九次方大数据) 5.3.5.3 大数据精准禁毒平台 “大数据精准禁毒平台”主要对全国对吸毒人员信息数据的全面采集,建立一对一的基 础数据库,有效掌握吸毒人员全面情况,以便实时监控、分析、收集、管理、共享,跟踪、 70 鉴测和评估。 该平台数据来源包括食药监、卫计委、质监局、公安局、工商局、环保局、质监局、工 信部、税务局、审计局、海关、教育局、学校、教管所、社区乡镇、特殊病区等多个部门和 单位,还将汇集互联网在线信息、医疗卫生数据、经济发展数据及舆情数据,形成一张巨大 的数据网络,实现信息在平台收集、数据在平台汇聚、原因在平台分析、问题在平台解决、 管控在平台实现、考核在平台落地,以达到经济发展数据信息、动态、管控、戒治、帮扶、 考核“六个精准”。 细分实现路径包括全国大数据精准禁毒的跟踪分析、全国禁毒人员的数据精准查询,以 及通过实时掌握全国禁毒人员动态进行全国星云图谱绘制,将禁毒人员数据建模分析,随时 更新星云图谱等。从应用效果来看,可以实现对全国禁毒所有数据实时掌控,精准掌握全国 禁毒人员的动态,实现上下贯通的数据收集体系,便于国家及社会健康发展。 图表 47:大数据精准禁毒平台场景示例 (来源:九次方大数据) 5.3.6 工商大数据应用场景 工商部门的市场主体信息是国家的“经济户籍库”,是宏观经济走势的“根信息”和“源 头信息”,是最细粒度的经济细胞。经济的发展离不开市场主体的发展,全面掌控市场主体 信用信息是推动社会诚信体系建设的重要内容,同时,市场秩序的好坏直接影响市场主体发 展环境,与经济的发展息息相关。市场主体数据是研究宏观经济的微观基础,市场主体的变 化是实时、动态反映国民经济运行的“晴雨表”,能够从宏观、中观、微观三个层面全面、 71 量化地反映出区域经济发展的特征。 为推进工商大数据挖掘分析与开发利用,助力工商大数据信息红利的充分利用,协助实 现对各地重点区域、重点产业实时监控、比较、分析以及有效提升产业政策制订的针对性、 精确性和有效性,九次方大数据在工商大数据应用上开发出产业升级转型决策支持平台、小 微企业大数据服务平台、市场交易监管大数据平台等。 5.3.6.1 产业升级转型决策支持平台 产业转型升级,应定义为产业结构高级化,即向更有利于经济、社会发展方向发展。产 业转型升级的关键是技术进步,在引进先进技术的基础上消化吸收,并加以研究、改进和创 新,建立属于自己的技术体系。产业转型升级必须依赖于政府行政法规的指导以及资金、政 策支持,需要把产业转型升级与职工培训、再就业结合起来。 “产业升级转型决策支持平台”主要为工商部门宏观把控产业发展情况以及产业转型决 策情况,做到横向汇集产业发展的问题点和风险点,纵向穿透至相关明细数据,从而增强产 业转型升级总体决策能力,提高工商决策产业转型升级的准确性、效率与效果。 该应用场景的数据来源多样,主要有区域企业数据、历年政策数据、区域宏观经济数据、 工商数据和招聘信息数据,在此基础上打破数据孤岛,将原始数据归集到中心平台;进而经 过数据加工,经过清洗、建模、综合分析得到结果,最终实现用户通过简单地交互即可查看 结果的效果。 在“产业升级转型决策支持平台”上,用户选择具体的地区维度、时间维度,即可显示 该维度下的区域经济发展情况以及产业发展经济,面临的困境和突破口,显示该地区产业发 展转型升级的进度,需要注意的要点等,以对接各地方工商和其他资本相关部门,解决工商 数据汇集难题,实时掌握本地及全国市场主体动态,精准分析区域产业发展情况,精准实时、 精准的工商管理监测,最终为区域政策调整提供决策数据支持。 72 图表 48:产业升级转型决策支持平台场景示例 (来源:九次方大数据) 5.3.6.2 小微企业大数据服务平台 小微企业是社会经济的重要组成部分,在繁荣经济、增加就业、稳定社会等方面发挥着 独特作用。运用大数据技术为小微企业服务,不仅可以有效破解企业发展难题,而且降低服 务和交易成本,同时也有助于企业把握商机、拓展市场和改善经营质态。 “小微企业大数据服务平台”运用大数据技术对工商数据、税务数据、运营商数据、工 业园区数据、社会企业数据以及网络舆情数据进行清洗和分析,通过总体服务水平跟踪分析、 企业服务需求精准查询、政府服务工作明细和政府服务满意度图表等方法,使政府部门了解 小微企业对政府服务方面的实时变化情况,监控小微企业各个阶段对政府服务的需求情况; 对小微企业的服务情况深度了解,支持地区、企业政府服务需求检索;对政府服务进行指标 考核,对其服务工作可追溯;对整体服务工作的社会满意度进行分析,地区和时间维度可调。 这一平台主要用于工商部门改善为小微企业服务情况,提供政府的公共服务能力,从而 增强减少小微企业的运营成本,提升政府在群众中的形象。具体而言,可以重点服务具有优 势和创新型的小微企业,为初创期小微企业创造生存环境;还可以通过平台上显示的小微企 业数量、服务需求等,使政府服务和小微企业服务需求进行有效对接。 73 图表 49:小微企业大数据服务平台场景示例 (来源:九次方大数据) 5.3.6.3 市场交易监管大数据 按照《关于加强商品交易市场规范管理的指导意见》等相关文件的规定,要求各地进一 步加强对商品交易市场的监管,规范商品交易市场经营管理活动,维护市场交易秩序,促进 商品交易市场持续健康发展。市场交易监管大数据主要用于执法部门领导层宏观把控市场交 易的总体情况,做到横向汇集市场交易的问题点和风险点,纵向穿透至相关明细数据,从而 增强总体决策能力,提高市场交易执法质量与市场交易执法效果。 从数据源的角度上看,主要包括政策法规数据、登记注册数据、消费投诉数据、企业经 营数据、信用信息数据和舆情倾向数据。从实现路径上分析,一是打破数据孤岛,将部门数 据、横向协同数据归集到中心平台,二是经过数据加工(清洗、建模、综合分析等),挖掘 数据内涵价值,洞察监管盲点。 在平台上,可以清晰显示交易过程、规范交易方式,规范市场秩序,以便进行筛选,重 点服务具有市场交易行为的个体商户、中小企业、大集团和买卖群体等社会群体。通过这一 应用场景,可以有效降低执法成本,减轻职员工作量,带动职员积极性;及时反馈舆情,提 升政府公信力;以市场需求为导向,调节监管方式;实现数据范围全覆盖,问题产品溯源。 5.3.7 海关大数据应用场景 上海自由贸易试验区、京津冀、广东地区海关区域通关、长江经济带海关区域通关一体 74 化等重点领域的改革,已打破海关监管的地域藩篱,改变了海关传统的作业模式,对传统的 翻单证、看账册的审计监督工作模式提出了挑战,海关审计传统作业模式难以适应海关改革 的发展需要。探索在审计实践中运用大数据技术的途径,加大数据综合利用力度,提高运用 信息化技术查核问题、评价判断、宏观分析的能力迫在眉睫。 目前,对海关执法领域审计的数据分析主要依托综合业务管理平台、海关执法廉政风险 预警处置系统等,难以完全满足审计工作提取数据量大、分析相对宏观等业务需求。随着大 数据技术发展,跨越系统、跨越平台、跨越数据结构的技术将使海关内部、外部得以流畅协 同,所有监测和辅助决策所需的数据在设置一定的权限后都可以直接获取。同时由于利用大 数据技术,数据处理及分析响应时间将大幅减少,分析决策工作的效率将明显提高,可以同 时对多个类别,多种领域的数据进行同时分析、处理。 5.3.7.1 企业信用评估大数据 我国 2014 年 12 月 1 日起正式实施的《海关企业信用管理暂行办法》(海关总署令第 225 号,以下简称《信用办法》)依据信用状况认定为认证企业(包括高级认证企业和一般认证 企业)、一般信用企业和失信企业。这一“经认证的经营者制度”,明确了企业如果符合海关 的要求,通过了海关的认证,即享受到海关给予的便利。目前,我国已与新加坡、韩国、中 国香港、欧盟签署了互认安排。AEO 企业在与中国海关实现互认的国家或地区,也将享受 对方给予的优惠待遇和通关便利措施,如较低进口货物查验率、优先快速通关等。 “企业信用评估大数据”系统将企业关税的偷税漏税数据(漏税数据,漏税时间、金额 等)、偷税漏税企业的工商数据以及涉事企业的市场失信数据(如电商失信记录、信用处罚 数据、企业税失信数据)、海关执行处罚数据等数据进行汇总分析,通过偷税漏税企业失信 数据图表呈现、涉事企业偷税漏税情况查询、偷税漏税企业评级排行等实现路径,结合涉事 企业市场失信数据挖掘分析,对偷税漏税企业做出信用评级,通过横向汇集企业海关偷税漏 税数据,纵向融合涉事企业市场失信数据,如电商失信记录,信用处罚数据等,从而做出企 业信用评级,助力海关对企业进行关税监管。 通过这一场景应用,可通过系统查询偷税漏税企业的信用评级,辅助决策企业审批等流 程;同时通过偷税漏税企业信用评级,做出重点严重企业信用排行并推送展现。 75 图表 50:企业信用评估大数据场景示例 (来源:九次方大数据) 5.3.7.2 跨境电商监管大数据 5 月 17 日,中国电子商务研究中心(100EC.CN)发布《2015 年度中国电子商务市场数 据监测报告》。报告显示,中国跨境电商交易规模为 5.4 万亿元,同比增长 28.6%。其中跨 境出口交易规模达 4.49 万亿元,跨境进口交易规模达 9072 亿元。跨境电商有望成为对冲出 口增速下台阶的利器。近年来,随着国际贸易条件的恶化,以及欧洲、日本的需求持续疲弱, 中国出口贸易增速出现了下台阶式的减缓。而以跨境电商为代表的新型贸易近年来的发展脚 步正在逐渐加快,并有望成为中国贸易乃至整个经济的全新增长引擎。 在对海关各电商通关数据、海关税收数据、质监局的检验检疫数据、电商监管数据、商 品属性数据及企业工商数据等数据进行汇集的基础上,通过大数据建模分析,有效识别假冒 伪劣产品;通过大数据可视化,形象直观地实时展示监管情况,还可以制作商品地区分布地 图等,对跨境电商做到全面实时监管,有效识别假冒、伪劣产品出入境,对全国电商企业商 品信息分布实时了解,进而辅助全面调控跨境电商税收政策改革。 5.3.7.3 海关风险监控大数据 国家金关二期工程,是在海关金关工程(一期)建设的基础上通过总体设计、丰富应用、 整合资源、创新科技、强化安全,将金关工程建设成进出口环节的企业诚信监督系统,海关 服务进出口企业、优化口岸管理的辅助系统,口岸及进出口管理部门协作共建、信息共享、 76 提升公信度的管理系统,不断优化海关监管和服务,保持国内相关领域领先,并达到国际海 关先进水平。其中,重点建设全国海关监控指挥系统、进出口企业诚信管理系统、加工和保 税监管系统、海关物流监控系统等应用系统。“海关风险监控大数据”可以帮助监管部门对出 入关过程中的货物检验、走私、偷税及其他海关日常工作中可能出现的风险进行预警,并对 发生风险的事件进行应急响应。 在数据来源上,该平台囊括了海关数据、工商局数据、税务局数据和质监局数据,在收 集汇总监管部门对出入关过程中的货物检验、走私、偷税等数据的基础上,通过大数据挖掘 分析,实时监控并对出现的风险进行预警,利用大数据可视化技术对分析结果进行可视化呈 现,进而帮助监管部门对出入关过程中的货物检验、走私、偷税进行风险预警,对发生的风 险事件进行应急响应。 图表 51:海关风险监控大数据场景示例 (来源:九次方大数据) 5.3.8 扶贫大数据应用场景 国家高度重视民生问题,把扶贫开发作为关注民生问题的重点和重要组成部分,随着我 国综合国力的不断增强,将会加大对扶贫开发的投入力度;新一轮西部大开发战略和《中国 农村扶贫开发纲要(2011-2020 年)》的实施,将进一步从政策、资金、项目等方面加大对贫 困地区建设的扶持力度。我国扶贫方式正在由“漫灌”向“滴灌”的精准扶贫转变,即注重 扶持对象精准、项目安排精准、资金使用精准、措施到户精准、因村派人精准、脱贫成效精 准等六个精准。坚持分类施策,精准扶贫模式要求对贫困对象的精准识别,以及识别后的精 77 准帮扶,这些都有望通过大数据应用得以解决。 九次方大数据在扶贫大数据应用上创造性地开发了如动态扶贫规划布局图、扶贫资金监 管平台、教育扶贫大数据等应用场景,大数据应用能够揭示传统技术方式难以展现的关联关 系,建立“用数据说话、用数据决策、用数据管理、用数据创新”的管理机制,实现基于数 据的精准扶贫决策,推动构建精准扶贫工作长效机制,为科学扶贫奠定坚实基础。 5.3.8.1 动态扶贫规划布局图 扶贫产业工作的开展,将有利于贫困地区发展特色优势农业,建设特色农业基地等,推 进贫困地区现代农业发展,提高贫困人口收入水平。扶贫规划需将最大范围覆盖贫困人口的 产业优先纳入规划,在建设内容上重点突出与贫困人口利益连接机制最紧密的环节,确保最 弱势群体能够共享产业扶贫开发的成果。 “动态扶贫规划布局图”汇集地方扶贫机构数据、扶贫统计监测、扶贫历史数据、基层扶 贫体系、扶贫档案卡系统和医疗卫生数据等数据源,通过扶贫统计检测网络,实时掌握全国 贫困、扶贫动态;将扶贫数据建模分析,精准分析区域贫困原因;搭建上下贯通的一体化贫 困监测系统。在平台上,可以选择全部地区维度、时间维度扶贫状况数据,显示扶贫规划布 局的状态;显示区域扶贫工作安排、扶贫资源分配及扶贫质量等。 动态扶贫规划布局主要用于扶贫相关部门领导层宏观把控扶贫工作规划布局情况,做到 顶层设计囊括全部、细致入微,纵向穿透至相关明细数据,从而为扶贫工作的开展、扶贫资 源的分配提供政策支持,确保扶贫工作的质量和效果。通过这一大数据应用,可实现对全国 贫困状态的实时掌控,便于及时调整、完善扶贫工作;精准掌握区域贫困原因,实现精准资 源配置;同时实现上下贯通的扶贫数据收集体系,便于实时、精准的扶贫监测工作。 78 图表 52:动态扶贫规划布局图场景示例 (来源:九次方大数据) 5.3.8.2 扶贫资金监管平台 《中国农村扶贫开发纲要》(2011-2020 年)中指出要完善有利于贫困地区、扶贫对象 的扶贫战略和政策体系。对扶贫工作可能产生较大影响的重大政策和项目,要进行贫困影响 评估。扶贫资金的使用,需严格执行扶贫资金财政专户管理制度、国库集中支付项目直达管 理制度、报账制管理制度,以及扶贫项目资金运行情况中期评估、年底绩效考评制度。 “扶贫资金监管平台”用到的数据源非常丰富,包括扶贫资金流动系统数据、地方扶贫机 构数据、扶贫统计监测数据、扶贫历史数据、基层扶贫体系数据、扶贫档案卡系统数据及医 疗卫生数据等。通过全方位的扶贫资金跟踪分析体系,实时准确进行扶贫问题分析处理,及 时应对资金腐败问题;通过实时监控,获悉扶贫资金分配情况,将扶贫资金分配智能分级, 分等级监测扶贫机构运行状况,最终通过对扶贫资金的实时监控,杜绝资源分配参差不齐现 象,规范扶贫工作发展,创造良性扶贫环境,让扶贫在阳光下进行。 这一应用场景主要为扶贫办等相关部门全盘监管扶贫资金的流动、使用情况,做到横向 汇集扶贫资金播发工作中的问题点和风险点,纵向穿透至相关明细数据,从而增强扶贫资金 的监管能力,杜绝扶贫工作中的腐败行为。 79 图表 53:扶贫资金监管平台场景示例 (来源:九次方大数据) 5.3.8.3 教育扶贫大数据 教育精准扶贫大数据汇集了各受教育阶段的扶贫对象、扶贫现状、扶持措施、扶贫效果 等综合信息,具有查询、统计、分析、筛选等多种功能,能够准确反映教育精准扶贫的工作 进展情况和政策实施效果。无论是各教育阶段贫困学生的资助保障还是实行招生扶贫政策, 都离不开教育扶贫“大数据”的支撑。 从数据源的角度来看,主要包括校园分布数据、师资力量分布数据、学龄儿童数据、区 域收入水平数据、扶贫统计监测、扶贫历史数据、基层扶贫体系和地方经济发展数据这些类 别。 从实现路径来看,一是通过对校园、师资等教育资源分布数据的分析规划,进行教育资 源的合理配置;二是将教育资源与适龄儿童数据相互对比分析,为适龄儿童提供精准的教育 服务。从而为扶贫部门提供教育扶贫工作总体情况、教育扶贫规划设计等数据,为贫困地区 提供基础教育服务,不断提高贫困地区人口素质,从根本上解决贫困问题,提高扶贫工作的 质量与效率。 从应用效果来看,一是实现了教育资源的合理扶贫配置;二是弥补了适龄儿童教育资源 的缺失,为贫困地区提供了公平的教育资源;三是教育扶贫提高了贫困地区人口素质水平, 从根本上解决贫困问题。 80 图表 54:教育扶贫大数据场景示例 (来源:九次方大数据) 5.3.9 司法大数据应用场景 伴随着信息化建设阔步前行,互联网、大数据在重构审判管理方式、重塑法院扁平化管 理中的作用日益凸显,也由此带来民意与警意如何更好沟通、政法队伍内部如何增强职业认 同等新课题。数据的关键在于通过对海量数据的分析加工实现数据的“二次利用”。强化海 量数据的集中存储,做到安全保存和灵活调用;加强对海量数据的自动挖掘和分析,特别是 在大量裁判案例基础上,运用大数据分析方法对法院各类案件的审判工作建构裁判模型,为 法官裁判案件提供参考;对迫切需要解决的法院工作问题开展数据分析实践,为解决突出问 题提供实践解决方案,供司法决策参考;加强对混杂性数据的关联分析,判断司法工作中存 在的被忽视问题以及趋势。 5.3.9.1 网络诈骗监控大数据 随着互联网应用的普及和人们对互联网的依赖,互联网的安全问题也日益凸显。据统计, 2011 年至 2014 年,各类网站泄漏的网民个人信息多达 11.2 亿条,内容包括姓名、电话、住 址、上网账号,银行卡密,身份证号码和等多种用户隐私信息。大量个人信息的泄漏,进一 步助长了各类网络诈骗的流行,钓鱼网站逐步成为不法分子的主要诈骗手段。 为实现对网络诈骗行为的自动检测与预警,实现最终精准打击,“网络诈骗监控大数据 平台”汇集社交信息、电话信息、银行转汇款信息、网络交易信息和网络犯罪历史信息,通 过对互联网信息数据监控分析,发现在预设的最短时间内银行卡出现多次交易的行为,实现 诈骗银行账号的精确查找以及关联人分析以及对网络诈骗行为的自动检测与报警。 81 图表 55:网络诈骗监控大数据场景示例 (来源:九次方大数据) 5.3.9.2 信访舆情监控大数据平台 面对日益恶劣的信访舆情环境,作为接访的信访局,其舆情监测需求主要表现在及时发 现网上传播的各种涉及维权、维稳、上访、曝光的负面信息,信访相关的媒体报道,信访政 策的宣传信息,公众对信访状况的看法和评论,信访局工作人员个人言行报道等内容上。 “信访舆情监控大数据平台”主要是通过互联网与通信网络为人民群众提供信访渠道, 对信访数据进行监控、分析,严惩贪腐受贿人员。这一平台的数据源主要有电话、短信、信 件信息和贪腐受贿案件信息,通过对各信访信息进行统计分析并及时作出决策,同时通过实 时监控,掌握党风情况,协调反腐工作,从而为各级信访机构和部门提供了快速的信访件处 理服务,实时准确把握民意,为群众提供优质的信访服务。 82 图表 56:信访舆情监控大数据平台场景示例 (来源:九次方大数据) 5.3.9.3 数据铁笼 尽管政府已采取很多有效措施强化对权力运行的监督制约,也取得了明显成效。但在一 些领域和环节仍然存在着监督盲区,致使腐败案件屡屡发生。启动规范制约权力实施“数据 铁笼”行动计划,就是要依托大数据产业优势加快网上政务建设,把能够纳入网络的行政权 力全部纳入网络运行,通过制定统一的数据技术标准,优化、细化、固化权力运行流程和办 理环节,合理、合法地分配各项职责,实现网上办公、网上审批、网上执法,权力运行全程 电子化、处处留“痕迹”,让权力在“阳光”下清晰、透明、规范运行,置于社会公众的监 督之下。 通过对政务公开大数据、公安信息大数据、个人诚信档案以及政府大数据信息的综合分 析,依托大数据、云计算推进政府简政放权,放管结合,通过执法记录仪和大数据云平台监 督执法权力情况,把权利关进铁笼。加快政务平台建设,进一步推进阳光政府建设,并与大 数据中心平台对接,使“数据铁笼”全覆盖、可视化,对所有网上运行的行政权力进行全过 程实时监督,第一时间捕捉“非常态”信息,构建起预防腐败的电子“防火墙”。 这一应用场景中,可以根据数据铁笼编制职权目录、行政权力运行流程图和监督机制警 示图,对涉及自由裁量的行政权制定具体的实施细则,进一步完善行政监督体系,将政府权 利关进“数据铁笼”,有利于依法提高政府管理能力,提高政府管理创新;依托大数据产业 83 优势,使政府权力全程数据化,依法清理行政权力。 图表 57:数据铁笼场景示例 (来源:九次方大数据) 5.3.10 金融办大数据应用场景 由于互联网银行的出现,政府和监管对互联网金融企业的支持,中国金融行业将自 2015 年进入大数据应用的爆发期,大数据将会被金融行业作为重要的商业武器。随着地方经济的 发展,金融业已成为提升城市能级、增强城市综合竞争力的战略性支柱产业。然而,高速增 长的投资理财公司在助力地方经济发展的同时,也存在野蛮生长、良莠不齐的一面。地方政 府金融办,作为规划地方经济发展的金融大管家,肩负着维护地方金融健康发展的重要职责。 面对动辄上万家企业,及时发现并处理存在金融风险的企业是困扰各地金融办的一道难题。 金融办的职能是协调规范、整顿和维护地方金融秩序稳定,确保地方金融安全、稳健和 规范运行。九次方大数据深度研究,提出企业征信大数据、中小企业融资服务大数据、金融 市场风险管控大数据等一系列金融办大数据应用场景,助力地方金融办应拥抱大数据,建立 统一风控体系,融合打非、风控、信用等多种业务相关的数据,设计出适应当地监管需求的 大数据平台,切实保护好投资者权益,服务好当地金融市场。 84 5.3.10.1 企业征信大数据 “企业征信大数据”为政府主管部门提供决策辅助,为政府奖励、评优评先、招投标、 行政许可等提供数据支撑。对信用良好企业提供更多政策奖励和支持,推动社会公平正义, 促进社会和经济可持续发展。满足金融机构全面了解信用主体信用状况的需求,大大降低金 融机构的业务风险,确保金融机构相关工作的安全、有序开展。运用现代化信息技术手段, 实现信用信息采集和信息使用的核发授权、及时监控、规范管理。 这一应用场景的数据源主要包括商业银行数据、信贷数据、工商数据、税务数据和海关 总署数据等,选择具体的企业信息维度、时间维度等,显示该维度下的企业基本及信贷情况, 实现信用信息采集和信息使用的核发授权、及时监控和规范管理,从而实现对企业的基本信 息和信贷信息的实时查询,对不良信息的预警和异议纠错管理。 “企业征信大数据”可有效化解金融风险、维护金融稳定、提高商业银行经营效率、应 对国际竞争、促进消费信贷和消费健康增长、缓解中小企业借款难、促进经济健康持续增长, 提高社会群体的诚信意识。 图表 58:企业征信大数据场景示例 (来源:九次方大数据) 5.3.10.2 中小企业融资服务大数据 从中小微企业融资现状来看,银行信贷仍然是中小微企业融资的主要渠道;企业缺乏抵 85 押物、融资渠道单一、企业信用等级低、企业管理不规范、财务制度不健全等因素,是造成 中小企业融资难的主要原因。而不规范“第三方收费”提升融资成本、转向民间借贷等因素 又造成了中小企业的融资贵。 “中小企业融资服务大数据”融合银行数据、证券交易数据、信贷征信数据、工商数据 和税务数据,设置有“金融政策”、“银行贷款”、“信用担保”、“融资技巧”、“金融资讯”、 “融资动态”等相关信息栏目,实现中小企业的融资信息申报管理、金融产品的信息管理、 对服务产品进行分类管理,提供多维度搜索。 中小企业通过融资服务大数据及时查询各金融机构针对中小企业的贷款业务介绍、贷款 程序、查询各担保机构的业务流程及相关信息。如对金融产品的管理。以“集聚融资资源, 集合融资产品,集合无缝对接”为宗旨,抽取各金融产品的共同属性,共同管理金融产品。 而融资服务平台专门开辟了投融资信息发布区,设置有“项目在线”、“资金在线”、“产权交 易在线”等栏目,为投资机构、金融集团、财团、中小企业或个人提供项目、资金、产权转 让等信息发布与撮合服务、信用服务。推进信用体系建设,开展企业信用征集和评价工作。 图表 59:中小企业融资服务大数据场景示例 (来源:九次方大数据) 5.3.10.3 金融市场风险管控大数据 数据源:金融机构数据、企业工商数据、舆情数据。 实现路径:将各地区的各个金融市场的风险数据抽取后,按照一定比例组合成当地金融 风险的数据;通过点击当地金融风险,可以了解具体的造成风险的主要因素。 86 功能描述:金融市场风险管控大数据可以实现实时了解各地区金融市场风险情况以及造 成风险的主要原因等详细信息。 应用效果:实时了解各地区金融市场的风险情况,可以对当地风险情况和全国风险情况 进行对比,通过点击地区风险,展开详细的风险信息。 图表 60:金融市场风险管控大数据场景示例 (来源:九次方大数据) 5.4 国家部委大数据发展现状分析 5.4.1 各部委参与现状 据贵阳大数据交易所统计,政府直接或间接持有的数据资源占比超过 80%,剩余的商 业公司持有的只占 20%。在政府持有的数据资源中,公共体系只是一部分,另外一部分则 在公共基础设施如医疗、水电煤等领域中。政府数据开放是未来大数据时代需要开发的一片 大油田。从数据的质量和数据的规格来看,政府数据比商业数据更具有价值。比如纳税数据、 公积金数据、社保数据、房产数据等,都能帮助金融机构降低对个人信用的评估成本。 政府愿意参与大数据交易有两大驱动力,一方面,市场渴望将政府巨大的数据资源作为 依托;另一方面,政府也想要开放数据资源以促进产业转型升级。 基于我国国情,大数据交易在寻求高效有序发展路径时,必须要依托政府和市场的双重 87 力量。在大数据交易方面发展较快的互联网金融以及电子商务行业,应发挥自身的先导作用, 通过搭建数据交易平台等方式积极与政府进行合作,助力政府数据资源的开放和共享。同时, 政府也应鼓励和支持企业在大数据交易领域所做的积极尝试。 大数据交易最大的应用前景在传统产业。这不仅是由于几乎所有传统产业都在互联网化, 更是因为传统产业仍然占据了国内生产总值的绝大部分份额。大数据交易会帮助这些传统产 业更快地完成转型升级,进而通过大数据的融合的调度推动智慧城市的建设。 5.4.2 各部委大数据相关政策 2015 年,中国两会期间的政府工作报告提出,制定“互联网+”行动计划,推动移动 互联网、云计算、大数据、物联网等与现代制造业结合,促进电子商务、工业互联网和互联 网金融健康发展,进一步明确了中国推动政府大数据产业发展的支持态度。 当前,中国政府正尝试抓住大数据发展先机,运用丰富的大数据资源,借助大数据实现 经济社会各方面的改革创新。国家统计局局长马建堂认为,“谁拥有了大数据,谁就占有了 制高点。就政府而言,大数据必将成为宏观调控、国家治理、社会管理的信息基础。”中国 政府在 2010 年后,特别是在 2014 年以后各部委密集制定出台了诸多关于政府大数据产业的 决定、规划和指导意见,对政府大数据产业进行明确的支持和鼓励。具体可参考《中国推动 政府大数据产业相关政策行动一览表》。 图表 61:中国推动政府大数据产业相关政策行动一览表 序号 时间 国家 部委 政策行动名称 政策行动详情 1 2012 年 7 月 国务院 《“十二五”国家战略性新兴产 业发展规划》 明确提出支持海量数据存储、处理技术的 研发和产业化。 2 2013 年 8 月 国务院 《关于促进信息消费扩大内 需的若干意见》 推动商业企业加快信息基础设施演进升 级,增强信息产品供给能力,形成行业联 盟,制定行业标准,构建大数据产业链, 促进创新链与产业链有效嫁接。 3 2015 年 1 月 国务院 《关于促进云计算创新发展 培育信息产业新业态的意见》 提出要加强大数据开发和利用,充分发挥 云计算、大数据在智慧城市建设中的服务 支撑作用,加强推广应用,挖掘市场潜力, 88 服务城市经济社会发展。 4 2015 年 3 月 国务院 制定“互联网+”行动计划 推动移动互联网、云计算、大数据、物联 网等于现代制造业结合,促进电子商务、 工业互联网和互联网金融健康发展,引导 互联网企业拓展国际市场。 5 2015 年 4 月 发改委 《创新投资管理方式建立协 同监管机制的若干意见》 提出运用互联网和大数据的技术来创新监 管的方式。 6 2015 年 4 月 24 日 交通运 输部 《关于开展全国道路运政管 理信息系统互联互通工作的 通知》 要求到 2016 年底,实现全国部、省、市、 县四级运政系统业务的全面协调联动,为 构建“省际联动、行业协同、资源共享、互 联互通”的道路运输行业信息化体系奠定基 础。 7 2015 年 6 月 国家信 息中心 联合深圳大学成立深圳大数 据研究院 致力于充分融合双方优势,打造大数据领 域新型创新载体,推动我国大数据技术、 人才与产业化发展。 8 2015 年 6 月 工信部 加快推进云计算与大数据标 准体系建设 将加快云计算与物联网、移动互联网、现 代制造业的融合发展与创新应用、积极培 育新业态、新产业,加快推进云计算与大 数据标准体系建设。 9 2015 年 7 月 1 日 国务院 《关于运用大数据加强对市 场主体服务和监管的若干意 见》 要求运用大数据加强对市场主体服务和监 管,明确时间表。 10 2015 年 8 月 31 国务院 《促进大数据发展行动纲要》 要求健全大数据市场发展机制,鼓励政府 与企业、社会机构开展合作,通过政府采 购、服务外包、社会众包等多种方式,依 托专业企业开展政府大数据应用,降低社 会管理成本;引导培育大数据交易市场, 开展面向应用的数据交易市场试点,探索 开展大数据衍生产品交易,鼓励产业链各 环节市场主体进行数据交换和交易,促进 数据资源流通,建立健全数据资源交易机 89 制和定价机制,规范交易行为;加快建立 大数据市场交易标准体系。 11 2015 年 10 月 工信部 正在编制大数据产业“十三五” 规划 制定《大数据产业“十三五”发展规划》,支 持大数据技术和产业创新发展,提升大产 业支撑能力,培育新业态新模式;在工业 大数据、大数据资源开放共享、大数据交 易、大数据安全、大数据标准、大数据行 业应用等领域开展专题研究。 12 2016 年 1 月 7 日 发改委 《关于组织实施促进大数据 发展重大工程的通知》 重点支持数据要素流通,建立完善国家大 数据标准体系,探索建立大数据交易平台 和制度。 13 2016 年 3 月 3 日 工信部 加强信息共享 促进产融合作 行动方案 充分利用大数据、云计算等信息技术手段, 依托各地工业和信息化系统,建立产融信 息对接服务平台,建立方便、快捷、高效 的信息沟通交流渠道,实现企业融资需求 网上申请、即时汇总、分类整理、及时推 荐,提高产融信息对接效率。 14 2016 年 4 月 11 日 交通运 输部 《关于推进春运服务举措常 态化 持续提高旅客运输服务 质量的通知》 充分利用互联网、强化大数据分析应用。 15 2016 年 4 月 13 日 发改委 《促进大数据发展三年工作 方案(2016-2018)》 加快数据共享开放,开展政府治理大数据 示范应用,推进“互联网+政务服务”,深化 数据创新应用;推动产业创新发展,做好 大数据产业发展的规划,推动好工业大数 据、互联网与制造业的融合发展;科学规 范利用数据,建立完善大数据管理机制, 加快相关法律法规和标准体系建设,强化 数据安全保障。 (来源:贵阳大数据交易所) 国务院印发的《促进大数据发展行动纲要》(以下简称“《纲要》”)2015 年 9 月 5 日 对外公开。《纲要》提出未来 5 至 10 年我国大数据发展和应用应实现的目标,包括 2017 90 年底前形成跨部门数据资源共享共用格局;2018 年底前建成国家政府数据统一开放平台。 《纲要》是我国发布的首个大数据国家行动计划,旨在全面推进我国大数据发展和应用, 加快建设数据强国。该计划提出从政府大数据、大数据产业、大数据安全保障体系三个方面 着手推进大数据领域的十大工程。 其中,包括推进政府数据资源共享开放工程、国家大数据资源统筹发展工程、政府治理 大数据工程、公共服务大数据工程等 4 大“政府大数据”工程;工业和新兴产业大数据工程、 现代农业大数据工程、万众创新大数据工程、大数据关键技术及产品研发与产业化工程、大 数据产业支撑能力提升工程等 5 大“大数据产业”工程;以及网络和大数据安全保障工程。 图表 62:政府大数据应用十大工程 序号 工程项目 目标 1 政府数据资源共享开放 工程 推动政府数据资源共享,形成政府数据统一共享交换平台,形成国家政府 数据统一开放平台。 2 国家大数据资源统筹发 展工程 整合各类政府信息平台和信息系统,整合分散的数据中心资源,加快完善 国家基础信息资源体系,加强互联网信息采集利用。 3 政府治理大数据工程 推动宏观调控决策支持、风险预警和执行监督大数据应用,推动信用信息 共享机制和信用信息系统建设。建设社会治理大数据应用体系。 4 公共服务大数据工程 医疗健康服务大数据、社会保障服务大数据、教育文化大数据、交通旅游 服务大数据。 5 工业和新兴产业大数据 工程 工业大数据应用、服务业大数据应用、培育数据应用新业态、电子商务大 数据应用。 6 现代农业大数据工程 农业农村信息综合服务,农业资源要素数据共享,农产品质量安全信息服 务。 7 万众创新大数据工程 大数据创新应用,大数据创新服务,发展科学大数据,知识服务大数据应 用。 8 大数据关键技术及产品 研发与产业化工程 加强大数据基础研究,大数据技术产品研发,提升大数据技术服务能力。 9 大数据产业支撑能力提 培育骨干企业,建立大数据产业公共服务,中小微企业公共服务大数据。 91 升工程 10 网络和大数据安全保障 工程 网络和大数据安全支撑体系建设,大数据安全保障体系建设。网络安全信 息共享和重大风险识别大数据支撑体系建设。 (来源:中国政府网,贵阳大数据交易所整理) 5.5 地方政府大数据发展现状分析 信息时代的风起云涌令“大数据”成为时髦的理念,越来越多的地方政府意识到大数据在 政府公共治理时的作用。对于地方政府而言,大数据可以在公共交通、公共卫生、社会保障 及企业征信等诸多领域,为政府公共治理提供有力的支持,帮助地方政府从依靠经验走向依 靠数据,大幅提升政策制定与执行时的针对性与有效性。 2015 年,地方大数据产业园区、大数据产业基金、大数据交易所如雨后春笋涌出。如 果说 2013 年是大数据元年,那么 2015 年将是大数据产业落地的元年,特别是政务大数据领 域。 5.5.1 地方政府大数据产业相关政策 我国一些地方政府已经意识到政府数据资源向社会开放和利用是政府在互联网时代构 建新型管理和服务模式的基础性支撑,是实现政府治理透明化、社会管理扁平化、公共服务 多元化的创新型手段。数据产业野蛮生长的同时,发展大数据产业的地方政府,也开始密集 出台相关政策。 地方政府大数据产业的决定、规划和指导意见,对政府大数据产业进行明确的支持和鼓 励。具体可参考《中国地方政府大数据产业相关政策行动一览表》。 图表 63:中国地方政府大数据产业相关政策行动一览表 序号 时间 省市 政策行动名称 政策行动详情 1 2013 年 7 月 重庆 《重庆市大数据行动计 划》 2017 年将大数据产业培育成全市经济发展 的重要增长极。 2 2013 年 7 月 上海 《上海推进大数据研究与 发展三年行动计划 数据硬件及大数据软件产品具备产业核心 竞争力。 92 (2013-2015 年 )》 3 2014 年 2 月 贵州 《关于加快大数据产业发 展应用若干政策的意见》 打造大数据产业发展应用新高地,建成全 国领先的大数据资源中心和大数据应用服 务示范基地。 4 2014 年 2 月 广东 成立大数据管理局 其具体职责是:研究拟订并组织实施大数 据战略、规划和政策措施,引导和推动大 数据研究和应用工作;组织制定大数据收 集、管理、开放、应用等标准规范;推动 形成全社会大数据形成机制的建立和开发 应用等工作。 5 2014 年 5 月 贵阳 《贵阳大数据产业行动计 划》 明确“到 2016 年底,贵阳大数据相关产业规 模达到 540 亿元,约占全市信息产业总产 值的 30%,成为经济发展的重要增长极。 6 2014 年 9 月 江苏 《智慧江苏建设行动方案 (2014-2016 年 )》 要加快政务数据开放,建成统一的政府数 据开放平台和信息资源共享服务体系。 7 2014 年 12 月 上海 上海智慧城市建设新三年 行动计划(2014-2016) 指出将大数据作为 8 大产业之一进行专项 建设,并盘活政府手里掌握的各种数据, 推进智慧政务发展。 8 2015 年 8 月 10 日 厦门 《大数据应用与产业发展 规划(2015-2020 年 )》 建设政府数据开放平台和数据交易市场等 数据流通平台,探索成立全国性的“大数据 产权交易所”,探索大数据产权交易的新模 式。探索混合所有制、民办公助等新的建 设模式,兴建运营一批特色行业云、大数 据服务基地、产业集群中心等公共服务平 台。 9 2015 年 10 月 9 日 湖北 湖北交通运输云数据中心 成立 坚持创新驱动,做好全省交通基础数据、 动态运行数据、交通调查数据等交通运输 数据的采集、整合和共享,不断创新交通 大数据管理机制,深入推进大数据与互联 网+交通的融合,为智慧交通发展提供良好 93 的支撑和保障。 10 2015 年 10 月 30 日 山东 亚洲首个国际航运大数据 基地落户青岛 国际航运大数据基地建设,建成亚洲首个 航运大数据交易所、航运大数据研究院、 航运大数据产业园及航运大数据中心。 11 2015 年 11 月 30 日 四川 四川省加快大数据发展的 实施意见 建立政府和社会互动的大数据采集共享机 制,设立大数据交易所(中心),构建门类 齐全的大数据交易平台,推动部门、行业 数据有序开放,探索开展大数据定价、交 易和规范使用,促进数据资产化。 12 2016 年 1 月 15 日 贵州 《贵州省大数据发展应用 促进条例》 规定了大数据在交易过程中的相关要求, 培育大数据交易市场,规范交易行为提供 了法律依据。 13 2016 年 2 月 广东 广东省大数据发展规划: 2015-2020 年(征求意见 稿) 建立完善数据估值体系和交易规则,发展 和规范数据要素市场,鼓励民间资本参与 建设数据交易平台,推动数据流通交换体 系建立。 14 2016 年 2 月 4 日 沈阳 沈阳市促进大数据发展三 年行动计划(2016-2018 年) 全面推进我市大数据发展和应用,促进大 数据与智慧城市协调发展。 15 2016 年 3 月 7 日 浙江 宁波海上丝路航运大数据 中心成立 进一步丰富海上丝路航运大数据资源,就 数据的分析方法、数据挖掘技术以及数据 的应用等开展研究,提高“海丝指数”数据资 源的整合、挖掘与应用能力,加快推进“海 丝指数”的研发和推广。 16 2016 年 3 月 10 日 福建 福建“十三五”规划纲要 积极发展大数据产业。实施大数据战略。 建设一批全国性大数据云平台。 17 2016 年 3 月 21 日 海南 海南互联网产业“十三五” 发展规划 打造大数据产业集群。 18 2016 年 3 月 江苏 江苏省国民经济和社会发 要实施大数据战略,大力发展工业大数据、 94 30 日 展第十三个五年规划纲要 新兴产业大数据、农业农村大数据、创新 创业大数据。建设大数据产业发展集聚区, 促进大数据产业向规模化、高端化发展。 (来源:贵阳大数据交易所) 5.5.2 政府着手推动大数据交易 随着工业 4.0 和“互联网+”的发展落地,生产生活每一秒都会产生大量的数据,未来 对数据存储的需求将是难以想象的。政府也积极参与到大数据发展的洪流之中,着手规划大 数据产业,制定大数据交易标准,从而推动和规范大数据交易。 贵州:贵阳大数据交易所 2015 年 4 月 14 日,贵阳大数据交易所正式挂牌运营,这是全国首家由政府主导提供数 据交易的平台,是全球范围内落户中国的第一家大数据交易所。交易所于 2015 年 5 月 8 日 得到李克强总理的亲自批示。交易所秉承“贡献中国数据智慧,释放全球数据价值”的发展 理念,通过自主开发的电子交易系统面向全球提供 7x24 小时全天候数据交易服务,旨在推 动政府数据公开、行业数据价值发现。交易所目前是工信部《大数据产业“十三五”规划》 起草单位之一,同时参与了全国信标委的大数据交易标准制定。贵阳大数据交易所提供完善 的数据确权、数据定价、数据指数开发、数据交易、结算、交付、安全保障、数据资产管理 和融资等综合配套服务。 目前各地方政府大数据应用还未充分激活,但各地提前做好布局和招商工作,纷纷成立 地方大数据产业园区、大数据交易平台。 95 6 中国行业大数据应用现状分析 6.1 中国行业大数据概况 6.1.1 中国行业大数据应用现状 中国大数据行业同全球同步,共同迈向蓬勃发展的美好方向,特别是 2014 年到 2015 年,大数据产业进入全面发展的快车道。从需求方来看,企业对于大数据的应用需求持续增 强,各行业大数据应用逐渐落地,并成为产业链的核心,主要行业的大型企业已着力培育自 身的数据资产。从供给方来看,新兴技术推动大数据技术环境趋向成熟,行业大数据应用逐 渐丰富,大数据生态系统多元化程度进一步加强。 当前,拉动经济的“三驾马车”均显疲态,无论是互联网新兴企业,还是传统企业,都处 于“深度焦虑”状态。随着云计算、移动互联网和大数据成为中国经济新一轮快速增长的新动 力,信息消费有望成为拉动内需的新引擎,而找准大数据与传统产业的契合点,是提升运营 效率和结构效率、推动产业升级转型的关键。因此,各产业都在深入挖掘大数据的价值,研 究大数据的深度应用,可以说,大数据在各行业的全面深度渗透将有力地促进产业格局重构。 目前,大数据在金融领域的应用最为广泛,处于领先地位,其他行业应用尚处于初级阶 段。在未来,大数据应用将全面覆盖各个产业,应用技术和方法将会更加成熟,应用市场规 模也将保持高速稳定的增长态势。 预计 2020 年中国大数据应用最多的为政府,行业应用方面,金融大数据还将占据 25% 的份额,其次为工业大数据,预计占比 6.64%。电力、交通、电信等其他领域也会不断加强 大数据应用。 96 图表 64:2020 年中国各行业大数据应用占比图 随着大数据技术的发展,政府部门开始意识到大数据的应用前景,开始大规模开发政府 大数据。尤其在大数据成为国家战略之后,从国家政府部门,到各省、市级政府机构,都在 大力推进各自的政府数据开放、开发,促进政府大数据的大范围应用。政府大数据应用也在 大数据应用中占到主导地位,预计到 2020 年政府大数据应用规模将占到大数据全部应用规 模的 35%。 6.1.2 中国行业大数据交易现状 各行业大数据的交易状况与该行业当前所拥有的数据量和应用状况直接相关。具有互联 互通基因的互联网、电信、媒体等行业是大数据交易较先涉足的领域,数据需求量大。而随 着互联网向传统产业的延伸,国家政策导向,使得金融业、交通物流行业等领域也掀起了大 数据应用的热潮,数据需求突出,市场交易开始发展。大数据交易初期,市场需求主要表现 在垂直行业需求。 随着物联网、智慧城市的发展,大数据应用思路逐步明晰,人们开始认识到:想要通过 大数据实现可观的利润,除了在行业垂直细分领域精准的找到消费者的痛点,更为重要的是 如何实时对接多样化的关联数据,来解决实际问题。因此,数据交易扩展到各个交叉行业/ 领域。数据也开始由垂直化交易演化为网格化交易。 互联网应用的普及使得大数据开始朝各个行业渗透,因此,大数据交易最大的应用前景 在传统产业。这一论点的提出,不仅是由于几乎所有传统产业都在互联网化,更是因为传统 97 产业仍然占据了国内生产总值的绝大部分份额。能源、工业、农业等领域的大数据交易在未 来将持续发展。 6.2 金融大数据应用现状分析 6.2.1 金融大数据现状 据贵阳大数据交易所统计,2015 年中国的数据总量达到 1700EB 以上,同比增长 90%, 预计到 2020 年这一数值将超过 8000EB。受行业特性影响,金融大数据占据了其中无可替代 的数据量和应用价值。以银行业为例,每创收 100 万元,银行业平均产生 130GB 的数据, 数据强度高踞各行业之首。 图表 65:各行业每 100 万元创收的实际数据用量 当前,面对中国经济下行压力以及国际金融环境的周期性变革,中国金融行业面临发展 方式的转型,风险和困难逐渐增多,对风险管理和监管的要求日益提高,对金融创新的需求 日益迫切。而随着大数据在各行业的逐渐推广,金融行业找到了创新增长的新方式。 98 图表 66:2015 年金融各行业对金融数据贡献度 从数据贡献度上看,银行是金融数据的重要贡献机构和使用机构。截至 2015 年第四季 度末,全国共开立人民币银行结算账户 73.7 亿户,环比增长 3.15%;个人银行结算账户 73.25 亿户,占银行结算账户的 99.4%,环比增长 3.15%;单位银行账户 4439.03 万户,环比增长 2.43%,其中基本存款账户增加 89.55 万户,一般存款账户增加 10.91 万户,专用存款账户 增加5.10万户,临时存款账户减少0.07万户。全国共发生银行卡交易3343.2亿笔,金额178.14 万亿。其中,涉及互联网金融的网上支付发生 106.37 亿笔,同比增长 25.21%;移动支付 56.33 亿笔,同比增长 244.74%(数据来源:中国人民银行,贵阳大数据交易所整理)。 目前中国金融数据体量位居全球第一,其中互联网金融占据相当大的比重,活跃的交易 账户和交易事项为金融领域贡献了大量可供挖掘的价值数据。 6.2.2 金融大数据应用市场规模 金融数据是大数据商业应用最早的数据源,早在 1996 年摩根大通银行就聘请数学家丹 尼尔利用递归决策树统计方法,对抵押贷款用户进行统计分析,帮助银行找到可能提前还款 或者未来不会还款的客户。经过一年的运行,基于递归决策树的抵押贷款管理为摩根大通银 行创造了近 6 亿美元利润。 据贵阳大数据交易所统计,2015 年中国金融大数据应用市场规模达到 16 亿元,预计这 一数字在 2020 年将突破 1300 亿元,金融行业有望进入大数据的快车道时代。 99 图表 67:2014-2020 年中国金融大数据应用市场规模及增长率 6.2.2.1 金融大数据应用需求分析 大数据在金融行业的应用,除传统的风险管理、运营管理及业务创新外,2015 年金融 行业大数据应用出现新趋势,主要包括以下四方面: (1)高频金融交易 高频金融交易的主要特点是实时性要求高和数据规模大,沪深两市每天 4 小时的交易时 间内可以产生至少 3 亿条逐笔成交数据,随着时间的积累这些成交数据的规模将相当可观。 区别于传统的日志数据,这些成交数据在金融分析与应用领域有相当高的分析价值,投资机 构或其他带有投资性质的企事业单位,可以据此判断市场热点及投资人信心,为高层决策及 蓝图规划提供基于数据的科学支持;金融研究机构通过对历史和实时数据进行挖掘,可以创 造和改进数量化交易模型,并将之应用在基于计算机模型的实时证券交易过程中。 (2)小额信贷 中国的小额信贷行业壮大于阿里巴巴。2007 年,阿里巴巴集团和中国建设银行合作推 出“e 贷通”,作为专注于服务小企业的贷款计划,阿里巴巴集团拥有大量的用户信息数据, 并伴随着详细的信用记录,再加上淘宝等交易平台上存有的企业交易数据,阿里巴巴通过大 数据技术的运用可以实现自动分析企业偿债能力,从而判断是否给予企业贷款的功能;而随 着中国经济结构性及周期性改革的深入,中小微企业无疑成为信贷市场新的生力军,中国建 设银行坐拥巨额放贷资金,无信用记录但发展势头良好的小企业正是新兴的价值客户。 100 (3)P2P 放款审核 在传统的借贷流程中,对于借款人的信息审核,机构是依靠借款人自己提供的各类信息 来判定其还款能力,但此种审核方式无论是从成本、效率还是质量来看均存在风险。贵阳大 数据交易所认为,大数据思维的引入将评估权重更多地放在借款人日常生活的交易数据及社 交数据上,比如借款人一般都在哪里消费,月均消费金额是多少,消费支出中的分布情况如 何,微博微信之类的社交圈活跃度如何等诸如此类的问题。这类数据具有很好的连贯性,可 以从中分析用户特性、习惯,从而反向推断借款人的实际财务状况,进行风险筛选。最重要 的是,这些数据造假可能性非常低,因为都是大数据环境下的各类碎片信息收集和分析,真 实性基本可以做到百分之百。 (4)客户管理 随着客户数量的增多,如何有效处理繁杂的客户关系,成为当前金融机构首当其冲需要 解决的难题;而利用大数据技术对客户信息进行处理,可以最大限度地了解客户倾向,分析 客户需求,为其提供针对性的服务,更好地留住客户。以银行为例,为搜集客户与银行之间 的互动关系,银行可以从柜台、网上银行、ATM 机甚至调查问卷等多种渠道收集相关信息, 从这些大容量的文本、录音、视频、图片等数据当中形成全景视图,通过分析和预测客户倾 向,大数据技术将帮助银行预测将要流失的客户,并对潜在流失客户采取挽留措施,以数据 为理论依托,防止银行因客户大量流失而造成损失。 (5)精准营销 在精准营销方面,各大金融机构纷纷展开行动。招商银行通过数据分析识别出信用卡高 价值客户经常在星巴克、DQ、麦当劳等场所消费后,通过“多倍积分累计”、“积分店面兑换” 等活动吸引优质客户;通过构建客户流失预警模型,对流失率等级前 20%的客户发售高收 益理财产品予以挽留,使得金卡和金葵花卡客户流失率分别降低了 15%和 7%;通过对客户 交易记录进行分析,有效识别出潜在的小微企业客户,并利用远程银行和云转介平台实施交 叉销售,取得良好成效。 6.2.2.2 金融大数据应用现状分析 (1)银行业大数据应用 101 中国银行业大数据应用主要集中在客户营销、产品创新、风险控制和运营优化四个领域。 比如光大银行研发的“阳光理财”资产配置平台(APP),分析客户需求并设计与之匹配的 资产配置方案以支持营销;民生银行通过大数据分析定义营销举措并防止客户流失;招商银 行利用大数据发展小微贷款。总的来看,银行大数据的应用可以分为如下三个方面: 1)信贷风险控制 在传统方法中,银行对企业客户的违约风险评估多是基于过往的营业数据和信用信息, 这种方式的最大弊端就是缺少前瞻性,因为影响企业违约的重要因素并不仅仅只是企业自身 的经营状况,还包括行业的整体发展状况,而大数据手段的介入使信贷风险评估更趋近于事 实。西班牙一家大型银行正是利用大数据来为企业客户提供全面深入的信用风险分析。该行 首先识别出影响行业发展的主要因素,然后对这些因素进行模拟,以测试各种事件对其客户 业务发展的潜在影响,并综合评判每个企业客户的违约风险。这样的做法不仅成本低,而且 对风险评估的速度快,同时显著提升了评估的准确性。 2)中间收入拓展 如今,坐拥海量数据的银行不再局限于使用数据服务其核心业务,把数据直接变成新产 品并用来创造直接收入是新的中间收入拓展渠道。澳大利亚一家大型银行通过支付数据的分 析了解零售客户“消费路径”,即客户进行日常消费时的典型顺序,包括客户的购物地点、 购买内容和购物顺序,并对其中的关联进行分析。该银行将这些分析结果销售给公司客户, 帮助客户更准确地判断合适的产品广告投放地点以及适合在该地点进行推广的产品。银行通 过这种方式获得了传统业务之外的收入。更重要的是,银行通过这样的创新为客户提供了增 值服务,从而大大增强了客户粘性。 3)差异化产品设计 在零售银行业务中,大数据为判断客户行为并匹配营销手段提供了广阔的创新空间。例 如,海外银行围绕客户的“人生大事”进行交叉销售。这些银行对客户的交易数据进行分析, 由此推算出客户经历“人生大事”的大致节点。人生中的这些重要时刻往往能够激发客户对 高价值金融产品的购买意愿。通过对客户的银行卡交易数据进行分析,银行很容易识别出即 将添丁的家庭,在这样的家庭中,准妈妈会开始购买某些药品,而婴儿相关产品的消费会不 断出现。该行面向这一人群推出定制化的营销活动,获得了客户的积极响应,从而大幅提高 102 了交叉销售的成功率。 (2)证券业大数据应用 目前,国内外证券业的大数据应用主要有以下三个方向: 1)股价预测 2011年5月英国对冲基金DerwentCapitalMarkets建立了规模为4000万美金的对冲基金, 该基金是首家基于社交网络的对冲基金。该基金通过分析 Twitter 的数据内容来感知市场情 绪,从而指导投资。尽管 Twitter 对冲基金在首月实现 1.85%的收益率,让平均数只有 0.76% 的其他对冲基金相形见绌,但无法否认的是,Twitter 情绪指标不可预测金融市场的冲击突 发事件。例如,在 2008 年 10 月 13 号,美国联邦储备委员会突然启动一项银行纾困计划, 令道琼斯指数反弹,而 3 天前的 Twitter 相关情绪指数毫无征兆。 2)流失客户预测 依据客户历史交易行为和流失情况创建大数据分析模型,预测客户流失的概率。比如 2012 年海通证券自主开发的“给予数据挖掘算法的证券客户行为特征分析技术”主要应用在 客户深度画像以及基于画像的用户流失概率预测,通过对海通 100 多万样本客户、半年交易 记录的海量信息分析,建立了客户分类、客户偏好、客户流失概率等模型。该项技术最大初 衷是希望通过客户行为的量化分析,来测算客户将来可能流失的概率。 3)投资景气指数评估 2012 年,国泰君安推出“个人投资者投资景气指数”(简称 3I 指数),对海量个人投资 者样本进行持续性跟踪监测,对账本投资收益率、持仓率、资金流动情况等一系列指标进行 统计、加权汇总,了解个人投资者交易行为的变化、投资信心的状态与发展趋势、对市场的 预期以及当前的风险偏好等,判定投资景气程度。 (3)保险业大数据应用 目前,国内保险行业的大数据应用主要集中在以下四个领域: 1)减少赔付 赔付直接影响保险企业的利润,对于赔付的管理一直是险企的关注点。而赔付中的“异 103 常值”(即超大额赔付)是赔付额的主要驱动因素之一。一家领先的美国保险集团通过结合 内部、第三方和社交媒体数据进行早期异常值检测,用 1.4 亿个数据点构建预测模型,其中 既包括了客户的个人数据(健康状况、人口特征、雇主信息等),也包括了集团的内部数据 (过往的理赔信息和已经采取的医疗干预信息等),及时采取干预措施,使平均索赔费用下 降了 20%。同时,借助大数据手段,险企可以识别诈骗规律,显著提升反欺诈的准确性与 及时性。 2)差异化定价 对保费的定义是基于对一个群体的风险判断,而大数据无疑为这样的风险判断带来了前 所未有的创新。一家澳大利亚保险公司通过分析客户的购物筐数据来预测驾驶风险。分析显 示,饮用大量牛奶并食用大量红肉的客户具有较低的驾驶风险,而食用大量意大利面和米饭 并在夜间开车和饮酒的客户则是高风险人群。 3)精细化营销 以淘宝运费退货险为例。据统计,淘宝用户运费险索赔率在 50%以上,该产品对保险 公司带来的利润只有 5%左右,然而依然有众多保险公司有意愿提供该服务。实际上,客户 购买运费险就意味着保险公司获得该客户的个人信息,包括手机号、家庭住址、银行账户信 息及产品购买信息等,基于这些数据保险公司能够最大限度实现精准推送。 4)风险管理 通过大数据分析可以解决现有的风险管理问题。比如,通过智能监控装置搜集驾驶者的 行车数据,通过社交媒体搜集驾驶者的行为数据,通过医疗系统搜集驾驶者的健康数据,以 这些数据为出发点,如果一个人不经常开车,并且开车十分谨慎的话,那么他可以比大部分 人节省 30%~40%的保费,这将大大的提高保险的竞争力。 6.2.2.3 金融大数据应用市场竞争格局 从金融大数据应用市场的竞争格局看,大数据时代下,金融边界不断延伸,金融机构不 再单纯锁定为金融牌照公司,部分具有互联网大数据功能的公司也逐渐向金融行业渗透。金 融大数据应用市场的竞争更多的表现为行业内公司与大数据渗透公司的竞争,以及行业内公 司在数据平台搭建及使用上的竞争。 104 按照目前移动金融端用户覆盖情况,金融大数据应用市场的竞争格局主要分为三个梯队: (1)第一梯队:商业银行、互联网巨头阿里巴巴和腾讯 商业银行在金融领域的账户支付、用户数量、理财产品种类上有着天然优势,但平台效 应有待提升;阿里依托电商平台做大,在众多互联网企业中将支付账户、平台效应和金融场 景有机结合,进入金融领域顺理成章;腾讯依托覆盖面广泛的社交平台,在支付账户和平台 效应上具有其他公司无可比拟的优势,尽管金融场景相对薄弱,但从渠道路径切入金融业较 为容易。 (2)第二梯队:证券类(华泰证券、国信证券等)、保险类(平安)、互联网类(同花 顺、东方财富、京东等) 第二梯队的特征是支付账户、平台效应和金融场景各有优势但综合效果偏弱,介入金融 的路径不一,补足短板是这类公司后续壮大的着力点。 (3)第三梯队:拍拍贷、人人贷、宜信、闪银等 第三梯队在某一细分领域有所突破,但整体规模和影响力偏弱,未来可能是互联网金融 的旁枝。 综合来看,以银行为代表的金融机构,在数据体量、金融平台数量及质量上相对稳定, 未来发展重点在于如何应用大数据达到精准营销及风控;互联网金融领域阿里巴巴和腾讯的 双雄格局业也具有相对稳定性,未来甚至有逆袭传统金融机构的可能。处于第二梯队的平安 拥有 80 万员工和 8000 万保险客户,容易形成较为强大的入口能力;同时,平安也拥有丰富 的金融产品线,且部分产品已经通过网络销售取得较好的口碑,两方面优势使平安具有晋级 第一梯队的潜质。 随着大数据发展和应用的持续推进,未来金融大数据行业中的机构和企业必将围绕建立 新的金融环境而竞争,主要表现在围绕生态圈、战略和产品三个层面的竞争,并由此确定金 融行业企业的市场地位及竞争力。因此,金融机构、互联网企业都不会局限于某一个层面的 发展,更倾向于多维度、多层面的布局,未来金融大数据市场竞争格局仍然存在一定变数。 105 6.2.3 金融大数据应用案例 (1)Kabbage Kabbage 是一家为网店店主提供营运资金贷款服务的创业公司,总部位于美国亚特兰大, 截至目前已经成功融资六千多万美元。Kabbage 的主要目标客户是 eBay、亚马逊、雅虎、 Etsy、Shopify、Magento、PayPal 上的美国网商。 Kabbage 通过查看网店店主的销售和信用记录、顾客流量、评论以及商品价格和存货等 信息,来最终确定是否为他们提供贷款以及贷多少金额,贷款金额上限为 4 万美元。店主可 以主动在自己的 Kabbage 账户中添加新的信息,以增加获得贷款的概率。Kabbage 通过支付 工具 PayPal 的支付 API 来为网店店主提供资金贷款,这种贷款资金到账的速度相当快,最 快十分钟就可以搞定。 Kabbage 用于贷款判断的支撑数据的来源除了网上搜索和查看外,还来自于网上商家的 自主提供,且提供的数据多少直接影响着最终的贷款情况。同时,Kabbage 也通过与物流公 司 UPS、财务管理软件公司 Intuit 合作,扩充数据来源渠道。 目前,使用 Kabbage 贷款服务的网店店主已达近万家,Kabbage 的服务范围目前仅限于 美国境内,不过公司打算利用这轮融资将服务拓展至其他国家。 (2)IBM 目前,IBM 使用大数据信息技术成功开发了“经济指标预测系统”。借助该预测系统, 可通过统计分析新闻中出现的单词等信息来预测股价等走势。 IBM 的“经济指标预测系统”首先从互联网上的新闻中搜索与“新订单”等与经济指 标有关的单词,然后结合其他相关经济数据的历史数据分析与股价的关系,从而得出预测结 果。 在“经济指标预测系统”的开发过程中,IBM 还进行了一系列的验证工作。IBM 以美 国“ISM 制造业采购经理人指数”为对象进行了验证试验,该指数以制造业中的大约 20 个 行业、300 多家公司的采购负责人为对象,调查新订单和雇员等情况之后计算得出。实验前, 首先假设“受访者受到了新闻报道的影响”,然后分别计算出约 30 万条财经类新闻中出现的 “新订单”、“生产”以及“雇员”等 5 个关键词的数量。追踪这些关键词在这段时期内的搜 106 索数据变化情况,并将数据和道指的走势进行对比,从而预测该指数的未来动态。 IBM 研究称,一般而言,当“股票”、“营收”等金融词汇的搜索量下降时,道指随后 将上涨,而当这些金融词汇的搜索量上升时,道指在随后的几周内将下跌。 从应用结果来看,IBM 的试验仅用了 6 小时,就计算出了分析师需要花费数日才能得 出的预测值,而且预测精度几乎一样。 (3)汇丰银行 目前,汇丰银行选择 SAS 防欺诈管理解决方案构建其全球业务网络的防欺诈管理系统。 据悉,这一解决方案是一种实时欺诈防范侦测系统。 SAS 被誉为“全球 500 强背后的管理大师”,是全球领先的商业分析软件与服务供应商。 SAS 通过三部分服务(包括软件及解决方案服务、咨询服务、培训及技术支持服务)帮助 客户洞察商机,成就变革,改善业绩。 汇丰银行与 SAS 在防范信用卡和借记卡欺诈的基础上,共同扩展了 SAS 防欺诈管理解 决方案的功能,为多种业务线和渠道提供完善的欺诈防范系统。这些增强功能有助于全面监 控客户、账户和渠道业务活动,进一步提高分行交易、银行转账和在线付款欺诈以及内部欺 诈的防范能力。通过监控客户行为,汇丰银行可以优化并更加有效地利用侦测资源。 现在,汇丰银行利用 SAS 系统,通过收集和分析大数据解决复杂问题,并获得非常精 确的洞察,以加快信息获取速度和超越竞争对手。因此,汇丰银行还将继续采用 SAS 告警 管理、例程和队列优先级软件,提高运营效率,以便迅速启动紧急告警。 6.2.4 金融大数据重点企业分析 通过大数据技术对这些金融数据的清洗、筛选、建模,可以从中判断出企业以及个人的 盈利能力、偿债能力、所有者素养以及资产流动性;从而为企业的风险管控、运营优化以及 精准决策提供数据理论支持。最终,金融数据将既可以造福券商、私募这样的投资公司,也 可以造福商品和劳务供应商这样的实业公司,还可以造福公众、员工或股东这样的自然人。 (1)九次方大数据 九次方大数据平台汇集分析了全产业链、8000 多个行业、40000 个细分市场、600 多个 107 城市、5600 个区县、2500 个高新区、30 多万条街道、50 多万个写字楼的 3000 多万家企业。 商业银行信贷业务员可以按照不同区域街道、不同收入及资产规模、不同行业、不同企业集 团及法人进行检索潜在客户,并对此企业进行初步信用分析。 同时,九次方对所有囊括企业设定了综合征信指标,真实反应企业的信用指数、价值评 级。分析指标包括信用等级、核心竞争力、投资价值、成长性、抗风险能力、投资潜力等。 指标 3 个月跟踪监测一次,实时反应区域企业活跃度,为银行业降低风险,寻找潜在目标客 户提供了扎实基础。 (2)万德信息 在国内市场,Wind 资讯的客户包括中国绝大多数的证券公司、基金管理公司、保险公 司、银行和投资公司等金融企业;在国际市场,已经被中国证监会批准的合格境外机构投资 者(QFII)中的众多机构是 Wind 资讯的客户。 在金融财经数据领域,Wind 资讯已建成国内完整、准确的以金融证券数据为核心一流 的大型金融工程和财经数据仓库,数据内容涵盖股票、基金、债券、外汇、保险、期货、金 融衍生品、现货交易、宏观经济、财经新闻等领域,新的信息内容及时进行更新以满足机构 投资者的需求。针对金融业的投资机构、研究机构、学术机构、监管部门机构等不同类型客 户的需求,Wind 资讯开发了一系列围绕信息检索、数据提取与分析、投资组合管理应用等 领域的专业分析软件与应用工具。通过这些终端工具,用户可以实时从 Wind 资讯获取到及 时、准确、完整的财经数据、信息和各种分析结果。 (3)同花顺 该公司成立于 1995 年,是一家专业的互联网金融数据服务商,产品覆盖实时数据、基 本面资料、资金面分析、模式化交易等功能层面,主要包括:实时行情软件(Level-1、Level-2、 实时港股)、基本面分析软件(大机构、决策家、导航者)、模式化交易软件(权证交易版、 机构交易版)、金融服务解决方案等。 通过积极的营销策略和运营发展,同花顺证券信息服务软件已经吸引了 7200 万注册用 户,每日至少 300 万人使用同花顺网上行情免费终端;同花顺网上交易系统广泛应用于全国 107 家证券公司中的 97 家的 2600 多家营业部,覆盖率达到了 90%以上;同花顺手机炒股系 108 统于 2003 年开始投入市场,是国内唯一能提供包括中国移动、中国联通、中国电信 3 大运 营商手机炒股业务服务的供应商;在增值数据服务领域,同花顺拥有上交所、深交所、中金 所、香港交易所颁发的信息服务商授权,并获得沪深两市 vel-2 行情授权许可。 6.2.5 金融大数据交易现状 互联网应用的普及使得金融信息化程度迅速加深,电子银行、电子交易、电子支付系统、 在线金融信息服务以及其他通过网络提供的金融产品迅速得以推广,金融业版图不断重构。 从目前金融大数据投资结构上看,银行是金融类企业的重要组成部分,证券和保险分列第二 和第三位。从数据交易角度看,超八成大数据交易集中在银行、保险和证券领域。 图表 68:中国金融行业大数据投资结构 6.2.5.1 银行业金融大数据交易现状 在发展大数据能力方面,银行业堪称金融行业“领军者”。纵观银行业六个主要业务板 块,包括零售银行、公司银行、资本市场、交易银行、资产管理和财富管理,每个业务板块 都可以借助大数据更深入地了解客户,并为其制定更具针对性的价值主张,同时提升风险管 理能力。其中,大数据在零售银行和交易银行业务板块中的应用潜力尤为可观。 据中国银监会数据,2015 年第四季度中国银行业总资产规模达到 199.3 万亿,比上年同 期增长 15.67%。银行业庞大的业务规模和包罗万象的业务范畴需要强大的信息技术支撑, 这个过程中大数据就显的尤为重要。目前,中国银行业在金融领域有最高的 IT 投入额,2015 109 年银行业 IT 投资额占金融行业 IT 总投资的 80%以上。 目前,我国银行业金融机构超过 3000 家,年均 IT 投资额约为 690 亿元,这其中,大型 国有商业银行是我国银行业IT 投资的主体单位,5大行的IT 投资占银行业整体投资额的60% 以上。 图表 69:2015 年中国银行业 IT 投资结构 (1)银行业大数据交易目的 1)整合信息资源,构建信用风险管控模型,实现高效信贷管理; 2)增加客户粘性,拓展银行客户营销广度,提高盈利空间; 3)风险管控,降低不良贷款率及客户欺诈风险。 (2)银行业大数据交易需求类型 目前,中国银行业在大数据应用领域仅仅用到一小部分与客户相关的数据,主要包括交 易数据、客户信息数据(出生日期、地址、婚姻状况等)、评分数据、渠道使用数据。多年 积累的业务数据的价值还远未充分挖掘,外部数据介入将弥补银行数据缺陷,从而催生银行 大数据交易市场的诞生。 (3)银行业大数据交易价值 银行业大数据交易的实现,将拓展银行数据来源,充分挖掘数据内涵价值,拓宽银行整 110 体盈利空间。其中零售银行业务、公司银行业务、资本市场业务、交易银行业务、资产管理 业务、财富管理业务和风险管理七大业务有望产生连锁价值。 6.2.5.2 证券业金融大数据交易现状 由于证券行业的信息化起点较高,业务发展迅速,证券行业是目前和大数据贴合比较近 的行业,全行业已经实现了交易撮合、价格生成发布的自动化和集中化。经过多年探索,证 券业信息系统的建设取得了长足的进步,在发布、交易、结算、信息披露、技术监控、信息 咨询与服务等方面,IT 技术的应用深度和广度都得到了极大扩展。 (1)证券业大数据交易目的 1)获得用户需求偏好,开发金融及信息、服务产品; 2)优化产品与服务,达到精准营销; 3)对上市公司及拟上市公司的风险监控及监管。 (2)证券业大数据交易需求类型 证券业大数据交易需求分为个人数据、企业数据、市场交易数据三种,其中市场交易数 据市场相对成形,需求主要集中在个人数据和企业数据。个人数据包括交易情况、购买时点、 盈利能力等;企业数据包括非上市公司、拟上市公司的相关信息。 (3)证券业大数据交易价值 证券业大数据交易的实现,将可以辅助推出有针对性的理财产品,提高投资决策及价值 投资标的选择的准确率,拓展证券业盈利空间,打击市场违法违规行为。 6.2.5.3 保险业金融大数据交易现状 随着互联网、移动互联网以及大数据的发展,网络营销、移动营销和个性化电话销售的 作用日趋显现,越来越多的保险公司注意到大数据在保险行业中的作用,传统保险公司积极 寻求与互联网巨头的合作,打造大数据平台,提高自身服务及运用水平。其中的典型案例如 马云、马化腾和马明哲投资的众安在线,通过与互联网公司的数据合作,创造互联网保险的 新型模式。 111 (1)保险业大数据交易目的 1)评估风险和定价,实现产品优化、绩效管理; 2)交叉销售,防止客户流失; 3)欺诈检测、索赔预防和缓解,减少公司损失。 (2)保险业大数据交易需求类型 国内外领先的保险公司在定价、营销、保单管理、理赔和反欺诈等不同领域正在对大数 据应用进行积极的尝试和创新。 (3)保险业大数据交易价值 国内保险行业有三个经典“痛点”:与客户接触频率低,因而难以进行场景营销;数据 基础差,限制了精算能力,对产品创新产生制约;运营整合难,影响了成本和客户体验。而 大数据交易无疑为解决这些问题带来了契机。 6.3 医疗大数据应用现状分析 目前我国大部分卫生资源投入在城市,其中约 80%投入到了大医院,在市场经济条件 下,原有分级诊疗被打破,医药费用增长过快,人民群众“看病难、看病贵”矛盾突出,医 疗体制僵化,“以药养医”现象严重。不过随着互联网、大数据、云计算的快速发展,医疗 健康产业大数据市场开始逐步走上正轨。在此基础上,大数据技术的应用有效提高了医疗长 尾市场的信息流通,降低广大受众成本,同时,大数据的应用也能够使原有医疗服务体系更 加完善与精准,彻底解决人民群众“看病难”、“看病贵”的痛点。 112 图表 70:中国医疗资源分布情况 6.3.1 医疗大数据现状 医院设备之间的互联互通,检验、影像、超声等数据的相互叠加使用,在部分医院也已 经成为常规的诊疗手段。具有特殊性、复杂性的庞大的医疗大数据,主要集中在医疗机构及 部分企业中。 6.3.1.1 医疗机构大数据资源 (1)医疗机构 从患者进入医院开始,挂号环节便将个人姓名、年龄、住址、电话等信息输入完全了; 随后在医生就医环节,病患的身体状况、医疗影像等信息也将被录入数据库;看病结束以后, 患者买单结算的过程中,又将有费用信息、报销信息、医保使用情况等信息被添加到医院的 大数据库里面。这将形成医疗大数据最基础却也是最庞大的原始资源。 (2)研究机构 临床和研究机构数据整合在一起,使得医疗机构面临的数据增长非常快,一张普通 CT 图像含有大约 150MB 的数据,一个标准的病理图则接近 5GB。如果将这些数据量乘以人口 数量和平均寿命,仅一个社区医院累积的数据量就可达数万亿字节甚至数千万亿字节(PB) 之多。 113 6.3.1.2 企业大数据情况 (1)制药企业 药物研发所产生的数据是相当密集的,对于中小型的企业也在百亿字节(TB)以上的。 在生命科学领域,随着计算能力和基因测序能力逐步增加,截止 2015 年 ,已 有 5000 万人拥 有个人基因图谱,而一个基因组序列文件大小约为 750MB。 (2)智能设备生产企业 随着移动设备和移动互联网的飞速发展,便携式的可穿戴医疗设备正在普及,个体健康 信息都将可以直接连入互联网,由此将实现对个人健康数据随时随地的采集,而带来的数据 信息量将更是不可估量的。 6.3.2 医疗大数据应用市场规模 6.3.2.1 医疗大数据应用分析 (1) 优化传统医疗 大数据有助于精确医疗行业市场定位。基于大数据的市场数据分析和调研是医疗行业进 行自身定位的第一步。医疗行业企业要想在无硝烟的市场中分得一杯羹,需要架构大数据战 略,拓宽医疗行业调研数据的广度和深度,从大数据中了解医疗行业市场构成、细分市场特 征、消费者需求和竞争者状况等众多因素,在科学系统的信息数据收集、管理、分析的基础 上,提出更好的解决问题的方案和建议,保证企业品牌市场定位独具个性化,提高企业品牌 市场定位的行业接受度。 (2) 医疗行业市场营销的大数据应用 大数据成为医疗行业市场营销的利器。主要体现在以下两个方面:一是通过获取数据并 加以统计分析来充分了解市场信息,掌握竞争者的商情和动态,知晓产品在竞争群中所处的 市场地位;二是企业通过积累和挖掘医疗行业消费者档案数据,有助于分析顾客的消费行为 和价值取向,便于更好地为消费者服务和发展忠诚顾客。因此,可以说大数据中蕴含着出奇 制胜的力量,将成为推进医疗行业市场化竞争的有效利器。 114 (3) 大数据支撑医疗行业收益管理 要达到收益管理,需求预测、细分市场和敏感度分析是此项工作的三个重要环节,而这 三个的环节推进的基础就是大数据。 需求预测是通过对建构的大数据统计与分析,采取科学的预测方法,通过建立数学模型, 使企业管理者掌握和了解医疗行业潜在的市场需求,从而使企业能够通过价格的杠杆来调节 市场的供需平衡。最大限度地挖掘市场潜在的收入。 (4) 大数据创新医疗行业需求开发 随着论坛、博客、微博、微信、电商平台、点评网等媒介在 PC 端和移动端的创新和发 展,公众分享信息变得更加便捷自由,而公众分享信息的主动性促使了“网络评论”这一新型 舆论形式的发展。微博、微信、点评网、评论版上成千上亿的网络评论形成了交互性大数据, 其中蕴藏了巨大的医疗行业需求开发价值。 作为医疗行业企业,如果能对网上医疗行业的评论数据进行收集,建立网评大数据库, 然后再利用分词、聚类、情感分析了解消费者的消费行为、价值取向、评论中体现的新消费 需求和企业产品质量问题,以此来改进和创新产品,量化产品价值,制定合理的价格及提高 服务质量,从中获取更大的收益。 6.3.2.2 医疗大数据应用需求分析 医疗大数据的需求主要包括以下几个方面:一是为医务人员服务,包括临床辅助决策、 单病种大宗病例统计分析、治疗方法与疗效比较、最小有效治疗研究、精准诊疗与个性化治 疗、不良反应与差错分析提醒等;二是为患者服务,包括全生命周期的健康档案、自我健康 管理、健康预测与预警等;三是为管理者服务,包括精细化管理决策支持、数据服务与数据 经济、感染爆发监控、疾病与疫情监测等;四是为研究人员服务,包括科研服务、用药分析 与药物研发等。 (1) 临床辅助决策 常规应用如医嘱处方安全用药提醒、简单的诊疗方案提示等。目前一些大医院广泛采用 的临床路径管理系统也是一种典型的临床辅助决策应用,其使医疗活动能够按照循证医学的 115 规律,做到按规范治疗。此外,针对医学影像类的非结构化大数据,可以采用同类影像搜索 比较、病灶特征分析等方法辅助诊断。 (2) 诊疗方案有效性支持 对同一病人来说,医疗服务提供方不同,医疗护理方法和效果不同,成本上也存在着很 大的差异。通过基于疗效的比较效果研究,全面分析病人特征数据和疗效数据,然后比较多 种干预措施的有效性,可以找到针对特定病人的最佳治疗途径,并减少医疗费用。医疗护理 系统实现 CER,将有可能减少过度治疗;并且,所采集分析的数据样本越大,那么比较效 果可能会越好。 (3) 自我健康管理 通过医疗物联网与移动互联网等技术,利用信息系统对个人健康状态进行连续观测,医 务人员对健康信息进行集成整合,为在线远程诊断和治疗提供数据证据,对个人健康状况进 行有效分析和干预。例如,用户可以将自己的血压、呼吸、血糖、体温等健康信息存储在签 约医院的医疗云上,由医院的医疗专家进行监控分析,提出健康管理建议。 (4) 疾病危险因素分析和预警 研究疾病风险模型,设计疾病风险评估算法,利用该算法计算个体患病的相对风险;利 用采集的健康大数据危险因素数据,对健康危险因素进行比对关联分析;针对不同区域、人 群,评估和遴选健康相关危险因素及制作健康监测评估图谱和知识库;通过全基因组测序数 据分析,可明确个体的患病风险。 (5) 医院感染爆发监测 医院感染严重危害人类健康,一旦暴发流行,如果没有采取积极有效的控制措施,将给 患者和医院带来巨大的损失和痛苦。减少医院感染暴发危害性的核心是“早防范、早发现、 早控制”。通过对医院感染数据的全面分析,能做到在医院层级有效的前瞻预警,增强干预 措施的时效性,从而显著地提高医院感染管理。 (6) 数据服务与数据经济 用户的医疗健康数据既包括在医疗机构的诊疗过程数据,还包括在社区的电子健康档案 数据、自我检测的健康管理数据。医院建设医疗服务云平台,为用户提供医疗与健康云数据 存储、管理、监控、分析与自主利用等服务,让这些数据产生经济价值。 116 6.3.2.3 医疗大数据应用市场规模 医疗行业是让大数据分析最先发扬光大的传统行业之一。大数据技术帮助人们存储管理 好医疗大数据,并从大体量、高复杂的数据中提取价值。大数据技术在医疗行业的应用将包 含以下方向:临床数据对比、药品研发、临床决策支持等等。应用领域的增加,伴随市场规 模扩张,贵阳大数据交易所预测 2020 年中国医疗大数据应用市场规模将达到 79.05 亿元。 图表 71:2014-2020 年医疗大数据应用市场规模及增长趋势 6.3.3 医疗大数据应用案例 (1)谷歌:利用大数据指导健康生活 谷歌离我们的生活并不遥远,利用谷歌的大数据其实可以做很多事情,比如就可以指导 我们的健康生活,听起来或许不可思议。利用谷歌搜索寻找健康数据,然后用它指导解决健 康相关的问题,谷歌正在成为我们日常健康探索的园地。但在幕后,互联网巨头也在努力加 快药物的开发,并开始寻找治愈人类的顽疾。 在斯坦福大学的潘德实验室,谷歌推出了一个名为大规模多任务网络的新药创制文件, 该文件着眼于如何使用数据,根据来源可以更好地确定那些化合物能否将作为有效的治疗各 种疾病的药物。而谷歌本身不展示重大医学突破,它指向如何深用巨大的数据集。它涉及培 训体系大量的信息,从关键数据输入获得的人工神经网络,然后再引进新的信息结合系统。 谷歌能够利用来自这些不同的实验数据,增加在许多疾病的预测精度,研究结果表明, 更多的数据可以进一步分析出重要的资料。谷歌表示,它准备建立一个规模跨越 200 多个个 体的生物过程,将 37.8 万个数据点进行挖掘。 117 由于规模的庞大,谷歌能够仔细探查这些数据的各种变化,数据结构和输入数据的敏感 指数,谷歌说。这是一个明显的优势,许多大型科技公司在投资新的学习资源。在 VentureBeat HealthBeat 会议结束后,看到了未来可以倚重的健康机器人,它们可以分析人体数据和进行 人工智能操作。 通过自动化和改善预测技术,可以加快药物发现过程并削减成本,一举两得。从谷歌的 报告中看出发现新的治疗人类疾病是一个非常复杂的挑战,它可以控制疾病的来源,同时满 足严格对药物毒性的限制。传统上,药物发现是一个不断持续的过程,需要多年的不断研究 才能证实使用,往往失败率很高,现在谷歌可以解决这一问题。 (2)IBM:智慧医疗体系 IBM 数据分析技术使医疗系统更加互联互通。数据分析以建设个人电子健康档案为技 术基础:标准化的个人电子健康档案实现了患者病历的信息共享,保证患者不论身在何处, 都能获得较高的医疗条件。并且,通过健康信息整合平台的建立,使得医疗信息和资源在不 同医疗服务机构间可以共享,实现了跨医疗机构的在线预约和双向转诊,从而提升了医疗服 务可及性与工作效率,建立“小病在社区,大病进医院,康复回社区”的便民就诊模式,大 幅提升医疗资源的合理化分配。 IBM 数据分析技术使医疗资源更加普及。为了解决优秀医疗资源匮乏、百姓看病难的 症结,医疗从业者在数据分析的帮助下,得以参考大量科技信息与以往诊疗手段,支撑诊断 与后续治疗,提高医疗服务质量。并通过农村和地方社区医院与中心医院的链接,使医疗从 业者能够实时得到专家建议和培训,突破病人对城市与乡镇、社区与大医院之间的距离限制, 为所有人提供更高质量和惠民的医疗服务。 118 图表 72:IBM 智慧医疗:“沃森医生” (来源:贵阳大数据交易所) IBM 数据分析技术使医疗系统可以“治未病”。IBM 智慧医疗通过对于数据的感知、处 理和分析,将可以实时发现重大疾病即将发生的征兆,并实时提醒医疗机构服务人员实施快 速和有效的响应措施,提高工作效率的同时降低了医疗机构服务人员的工作负担。对于病人 本身,数据分析可以帮助医疗系统发现慢性疾病的发生,以及其他病症的变化,及时提醒患 者采取相对应的措施,有效预防病情恶化或者病变发生。IBM 研究院针对医疗数据的分析 技术进行持续不断的研究,其中比较有效性分析、基于病患相似度的分析、以及基于临床指 南和临床实践模式的决策支持等技术已经接近实用的程度。目前中国正处于深化医疗体制改 革的攻坚期,这些分析技术对于帮助公立医院积极应对支付方式的转变、基层卫生服务机构 大力提高医疗质量和效率,将会产生巨大的经济与社会效益。 (3)Tableau:当互联网医疗遇上大数据分析 得益于强大的数据分析能力,Tableau 可以为各个行业提供数据分析支持,成为了最好 的数据分析平台。医院、诊所、保险公司等从来都不缺乏数据,然而直到最近,一些有远见 的企业才开始意识到利用这一丰富的资源,大数据分析也成为了互联网医疗的一个热门领域。 1)利用数据分析加速患者分流 病人对于一个医院的印象往往都来自于急诊科,所以医院必须要确保服务能够满足病人 的要求,因而利用医院已有的数据来分析,简化分流的步奏就会显得很重要。这样能够保证 在急症过程的每一分钟都能得到有效利用,也让病人与家属都能有一个良好的诊疗体验。 119 Tableau 通过分析病人到达时间等数据,可以让你清晰地看到病人每天、每小时的来院情况, 这可以让医院适时保证足够的值班人员,并合理分配医疗资源。Tableau 还能帮助建立急诊 科患者的个人档案,根据人口统计学提出相关建议。此外,Tableau 可以分析出医院急诊科 的应诊能力,并且在病人数量达到极值时做出反应。 2)实现统一访问医疗记录和患者信息 据估计,超过 50%的患者信息都被杂乱的保存,这使得开发利用这些重要的数据变得 十分的困难。而在 Tableau 的帮助下,医生可以很方便的查阅病人的医疗记录等相关信息。 Tableau 极大的增强了患者信息的可视化程度,方便对医疗记录和患者信息进行统一管理和 访问。通过对患者的住址、治疗进展以及其他深入到每个病人的详细记录的分析,Tableau 可以为各级医疗卫生服务人员提供相关建议,帮助他们分析和改进服务。 3)轻松研究医疗保险支出 情况医疗保险支出的情况是一个国家的重大问题。Tableau 可以提供可视化的图表,分 析医疗保险支出的区域分布,每个患者的平均医疗保险支付差异,还可以看到不同的保险公 司的价格差异以及地区差异,还可以根据颜色不同理解不同地区医疗保险费用不同的原因。 4)医疗服务监控 医院和保险公司都需要了解在一定的人群中有什么流行疾病、什么年龄段的人更容易受 到感染、治疗的成本等情况。Tableau 可以帮助医疗保险公司评估特定申请人的患病风险, 分析申请人最可能患的疾病以及治疗费用。在得到这些分析结果之后,保险公司可以选择制 定相应的保险方案。 5)减少等待时间,提高病人满意度 等待的时间最有可能引起患者的不满情绪,追踪一个病人从被接待到接受诊疗所花费的 时间可以让医院采取有效的措施,减少病人的等待时间,提高服务的满意度。Tableau 可以 追踪病人诊疗期间的等待时间等数据,为医院提供相应的建议,制定计划改进诊疗流程,以 减少患者在候诊室的等待时间。 6.3.4 医疗大数据重点企业分析 (1)九安医疗 九安医疗作为全球家用移动医疗智能硬件领域的领先企业,也是全球第一家与苹果手机 结盟的医疗器械制造商,公司在北美有超过 10000 家店铺渠道。九安医疗董事长刘毅向上证 120 报透露,公司跟一些全球范围内的医院、保险公司正在沟通、洽谈,期待未来在健康大数据 方面达成合作。 九安医疗是国内电子血压计行业唯一上市公司,拥有实力雄厚的研发中心及具备现代化 管理水平的制造工厂,占地 24000 平米,年产能 600 万台以上。产品出口遍及 100 多个国家, 仅仅德国市场所占份额就达到了 50%,打破了由日本及台湾厂商对电子血压计行业的垄断 格局,成为行业内唯一能够与其抗衡的中国内地企业。2012 年度公司电子血压计的销售数 量位列世界前三位。据悉,九安医疗正瞄准心电、呼吸领域,有便携式的、可 24 小时监控 的动态血压、心电、夜间血氧仪等新产品。 (2)迪安诊断 浙江迪安诊断技术股份有限公司成立于 2001 年,是以提供诊断服务外包为核心业务的 独立第三方医学诊断服务机构,凭借具有迪安特色的“服务+产品”一体化商业模式成为行 业领先者,并于 2011 年 7 月率先上市,成为中国医学诊断外包服务行业第一股,实现中国 独立医学实验室上市“零的突破”。 随着“大数据”逐渐上升为国家战略,医疗卫生领域也迎来了自己的“大数据”时代, 其中重要的发展包括在药物研发中使用基因数据、临床实验数据的共享、电子病历系统的广 泛使用以及医疗保险、患者登记和社会媒体中的数据使用等。“医疗大数据”是医生对患者 诊断和治疗过程总产生的数据,包括患者基本数据、电子病历、诊疗数据、医学影像数据、 医疗设备和仪器数据及经济数据等。不断数据化的医疗信息,对疾病及病人的管理、控制和 医疗研究起到了积极的作用,价值不菲。 图表 73:迪安诊断“新模式” (来源:贵阳大数据交易所) 目前,迪安依托全国连锁化医学实验室的平台,致力于技术创新与商业模式创新,业务 涉及司法鉴定、诊断产品销售、诊断技术研发生产、司法鉴定、健康管理、CRO 等领域, 121 并不断完善“服务+产品”一体化的专业服务体系,创造诊断项目齐全、标本流程高效、诊 断结果准确、咨询服务权威的第三方医学诊断服务模式,形成了整合营销竞争优势,确定了 全国连锁化、规模化复制的扩张策略,通过纵向与横向的有效资源整合,加快全国布局速度, 启动了公共检测平台的多服务领域拓展与上下游产业链的整合式发展战略。 迪安医疗大数据省级重点企业研究院将重点开展医疗大数据采集、分析和共享平台的建 设,致力于诊断技术与方法、诊疗新模式与医疗健康大数据的研究分析,攻克第三方医学大 数据运营模式中出现的关键性共性问题。打通医疗、医药、医保的上下游联系,构建一个完 善的医疗大数据生态圈,在提高医疗质量、强化公众安全、降低医疗成本等方面发挥巨大作 用。 (3)精英天成 在临床医学中,救命血关乎患者的生命,现实却往往因为寻找血源困难而耽误治疗。贵 州一家公司运用大数据开发血液管理平台,可以有效解决这个问题。 精英天成是从事血液信息化软件开发、智能设备研发生产的一家大数据医疗企业。其开 发的管理系统已经在湖南、湖北、贵州、广西、黑龙江 5 个省份全省范围使用,在 20 多个 省局部使用,覆盖 80 多家血站和单采血浆,以及近 600 多家医院。 该系统将各级卫生计生行政主管部门、中心血站、单采血浆站、医院、生物制品企业的 信息纳入到一体化管理软件平台,解决了长期困扰各级血液主管部门的数据共享问题,实现 了对血液管理的实时监管,避免频采、跨区采浆等违规采血采浆问题。 6.4 工业大数据应用现状分析 6.4.1 工业大数据现状 工业大数据也是一个全新的概念,从字面上理解,工业大数据是指在工业领域信息化应 用中所产生的大数据。随着信息化与工业化的深度融合,信息技术渗透到了工业企业产业链 的各个环节,条形码、二维码、RFID、工业传感器、工业自动控制系统、工业物联网、ERP、 CAD/CAM/CAE/CAI 等技术在工业企业中得到广泛应用,尤其是互联网、移动互联网、物 联网等新一代信息技术在工业领域的应用,工业企业也进入了互联网工业新的发展阶段,工 业企业所拥有的数据也日益丰富。工业企业中生产线处于高速运转,由工业设备所产生、采 集和处理的数据量远大于企业中计算机和人工产生的数据,从数据类型看也多是非结构化数 122 据,生产线的高速运转则对数据的实时性要求也更高。 不管是工业自动化、还是工业智能化(工业 4.0)、或者是工业互联网概念,他们的基础 是工业数据。随着行业发展,工业企业收集的数据维度不断扩大。主要体现在三个方面: 一是时间维度不断延长。经过多年的生产经营,积累下来历年的产品数据、工业数据、 原材料数据和生产设备数据; 二是数据范围不断扩大。随着企业信息化建设的过程,一方面积累了企业的财务、供应 商数据,也通过 CRM 系统积累了客户数据,通过 CAD 等积累了研发过程数据,通过摄像 头积累了生产安全数据等,另一方面越来越多的外部数据也被收集回来,包括市场数据、社 交网络数据、企业舆情数据等; 三是数据粒度不断细化。从一款产品到多款、多系列产品使得产品数据不断细化,从单 机机床到联网机床,使得数据交互频率大大增强;加工精度从 1mm 提升到 0.2mm,从 5 分 钟每次的统计到每 5 秒的全程监测,都使得采集到的数据精细度不断提升。 以上三个维度最终导致企业所积累的数据量以加速度的方式在增加,构成了工业大数据 的集合。不管企业是否承认,这些数据都堆砌在工厂的各个角落,而且在不断增加。 从企业经营的视角来看这些工业数据。可以按照数据的用途分成三类: 第一类是经营性数据,比如财务、资产、人事、供应商基础信息等数据,这些数据在企 业信息化建设过程中陆陆续续积累起来,表现了一个工业企业的经营要素和成果。 第二类是生产性数据,这部分是围绕企业生产过程中积累的数据,包括原材料、研发、 生产工艺、半成品、成品、售后服务等。随着数字机床、自动化生产线、SCADA 系统的建 设,这些数据也被企业大量记录下来。这些数据是工业生产过程中价值增值的体现,是决定 企业差异性的核心所在。 第三类是环境类数据,包括布置在机床的设备诊断系统,库房、车间的温湿度数据,以 及能耗数据,废水废气的排放等数据。这些数据对工业生产过程中起到约束作用。 从目前的数据采用情况看,经营类数据利用率最高,生产性数据和环境类数据相比差距 比较大。从未来数据量来说,生产线数据在工业企业数据中的占比将越来越大,环境类数据 123 也将越来越多样化。 6.4.2 工业大数据应用市场规模 作为实现智能制造的重要驱动力,工业大数据可为企业制造与管理流程优化,产品、服 务和商业模式创新,以及整个行业生态圈的快速聚合提供有效服务。加强对我国工业大数据 应用的研究,对推动实现互联网与制造业跨界融合、加快实施《中国制造 2025》,以及提高 新时期制造业国际竞争力,具有重要意义。 6.4.2.1 工业大数据未来应用推进方向 (1)加强政策引导,提高工业大数据应用技术与水平 一是加强工业大数据顶层设计,尽快组织出台《关于促进工业大数据应用的指导意见》, 壮大大数据产业发展规模,明确大数据应用需求迫切的技术、标准、产业,制定发展路线, 提高大数据行业的服务水平和工业大数据应用水平。二是深入推进两化融合,引导企业加快 内部数据整合与集成,夯实工业企业大数据应用基础。三是建议设立工业大数据统筹发展部 门,引导建设国家级工业大数据联盟,负责指导和研究相关数据标准,提供工业企业大数据 应用技术咨询培训、信息安全咨询等公共服务。 (2)加大财税金融、投融资政策扶持力度,推动工业大数据服务发展 一是设立国家工业大数据发展专项基金,充分发挥专项基金的政策放大作用,引导社会 资本积极参与工业大数据应用。要创新项目投资机制,引入政府和社会资本合作(PPP)模 式,通过投资补助、基金注资、担保补贴、贷款贴息等多种方式,增强吸引社会资本的能力。 二是完善企业研发费用计核方法,将工业企业大数据应用研究费用加计扣除优惠政策范围。 三是加强对小微工业企业的财政税收政策支持,减轻小微工业企业进行大数据应用的负担。 (3)建立全方位的技术应用推广机制,扩大工业大数据应用范畴 一是针对工业企业实施一批具有特色的大数据应用试点示范项目,探索大数据产业的新 模式、新业态。二是定期举办工业大数据应用优秀项目成果展,扩大工业大数据应用成果在 全社会的影响力。三是加强工业大数据应用的国内外交流合作,组织相关机构和人员到国内 外进行学习与交流。 124 (4)重视复合型人才的引进培养,构建有利于工业大数据发展的人才激励机制 一是全面改革人才引进机制,破除不利于人才发展、束缚人才成长的体制机制障碍,营 造有利于工业大数据人才培养和发展的职业环境,构建领军型、科研型、复合型、实用型等 多层次组合的工业大数据人才结构。二是完善人才激励机制,注重对大数据人才的就业创业 引导,制定更加开放、有效的人才激励政策,建立适用的人才奖励基金,激发创业、创新、 创造活力。三是加快大数据人才职业化进程,建立大数据分析师等职业资格考试和认证制度, 在国有大中型工业企业率先推行首席数据官(CDO)制度。 6.4.2.2 工业大数据应用价值 工业大数据应用将带来工业企业创新和变革的新时代。通过互联网、移动物联网等带来 的低成本感知、高速移动连接、分布式计算和高级分析,信息技术和全球工业系统正在深入 融合,给全球工业带来深刻的变革,创新企业的研发、生产、运营、营销和管理方式。这些 创新不同行业的工业企业带来了更快的速度、更高的效率和更高的洞察力。工业大数据的典 型应用包括产品创新、产品故障诊断与预测、工业生产线物联网分析、工业企业供应链优化 和产品精准营销等诸多方面。 (1)加速产品创新 图表 74:大数据指引工业产品创新方向 (来源:贵阳大数据交易所) 客户与工业企业之间的交互和交易行为将产生大量数据,挖掘和分析这些客户动态数据, 能够帮助客户参与到产品的需求分析和产品设计等创新活动中,为产品创新作出贡献。 125 (2)产品故障诊断与预测 图表 75:工业大数据诊断与预测产品故障 (来源:贵阳大数据交易所) 可以用于产品售后服务与产品改进。无所不在的传感器、互联网技术的引入使得产品故 障实时诊断变为现实,大数据应用、建模与仿真技术则使得预测动态性成为可能。 (3)工业物联网生产线的大数据应用 现代化工业制造生产线安装有数以千计的小型传感器,来探测温度、压力、热能、振动 和噪声。因为每隔几秒就收集一次数据,利用这些数据可以实现很多形式的分析,包括设备 诊断、用电量分析、能耗分析、质量事故分析(包括违反生产规定、零部件故障)等。首先, 在生产工艺改进方面,在生产过程中使用这些大数据,就能分析整个生产流程,了解每个环 节是如何执行的。一旦有某个流程偏离了标准工艺,就会产生一个报警信号,能更快速地发 现错误或者瓶颈所在,也就能更容易解决问题。利用大数据技术,还可以对工业产品的生产 过程建立虚拟模型,仿真并优化生产流程,当所有流程和绩效数据都能在系统中重建时,这 种透明度将有助于制造商改进其生产流程。再如,在能耗分析方面,在设备生产过程中利用 传感器集中监控所有的生产流程,能够发现能耗的异常或峰值情形,由此便可在生产过程中 优化能源的消耗,对所有流程进行分析将会大大降低能耗。 (4)工业供应链的分析和优化 126 大数据分析已经是很多电子商务企业提升供应链竞争力的重要手段。智能供应链可以从 生产、需求、服务的三大方面来实现。首先从市场需要着手,通过工业大数据,分阶段实现 需求预测,做好需求与库存对接的优化工作,实现分配最优。其次,加大生产质量生命周期 的分析,对生产设备做好实时的预测性自维修以提高生产的质量,实现最大化产量和可靠性。 最终,产品以服务的方式在市场上流通,实现供应链配件的优化、售前到售后的服务运营优 化、保值分析以及建立增值的售后服务盈利模式。 以海尔公司为例,海尔公司供应链体系很完善,它以市场链为纽带,以订单信息流为中 心,带动物流和资金流的运动,整合全球供应链资源和全球用户资源。在海尔供应链的各个 环节,客户数据、企业内部数据、供应商数据被汇总到供应链体系中,通过供应链上的大数 据采集和分析,海尔公司能够持续进行供应链改进和优化,保证了海尔对客户的敏捷响应。 (5)产品销售预测与需求管理 图表 76:大数据实现产品销售预判与需求管理 (来源:贵阳大数据交易所) 通过大数据来分析当前需求变化和组合形式。大数据是一个很好的销售分析工具,通过 历史数据的多维度组合,可以看出区域性需求占比和变化、产品品类的市场受欢迎程度以及 最常见的组合形式、消费者的层次等,以此来调整产品策略和铺货策略。 (6)生产计划与排程 制造业面对多品种小批量的生产模式,数据的精细化自动及时方便的采集(MES/DCS) 及多变性导致数据剧烈增大,再加上十几年信息化的历史数据,对于需要快速响应的 APS 127 来说,是一个巨大的挑战。大数据可以给予我们更详细的数据信息,发现历史预测与实际的 偏差概率,考虑产能约束、人员技能约束、物料可用约束、工装模具约束,通过智能的优化 算法,制定预计划排产,并监控计划与现场实际的偏差,动态的调整计划排产。帮我们规避 “画像”的缺陷,将群体特征直接强加给个体(工作中心数据直接改变为具体一个设备、人员、 模具等数据)。通过数据的关联分析并监控它,我们就能计划未来。虽然,大数据略有瑕疵, 只要得到合理的应用,大数据会变成我们强大的武器。 工业大数据应用的价值潜力巨大。但是,实现这些价值还有很多工作要做。一个是大数 据意识建立的问题。过去,也有这些大数据,但由于没有大数据的意识,数据分析手段也不 足,很多实时数据被丢弃或束之高阁,大量数据的潜在价值被埋没。还有一个重要问题是数 据孤岛的问题。很多工业企业的数据分布于企业中的各个孤岛中,特别是在大型跨国公司内, 要想在整个企业内提取这些数据相当困难。因此,工业大数据应用一个重要议题是集成应用。 6.4.2.3 工业大数据市场应用规模 对于工业产业而言,产能过剩已成常态。发展工业大数据,可助力工业供需侧改革、产 业结构调整,为工业走出困局提供新的思路与技术。因此未来一段时间内,工业大数据应用 市场规模将呈现大幅度增长态势,预计 2020 年,市场规模达到 361.62 亿元。 图表 77:2014-2020 年工业大数据应用市场规模及增长趋势 128 6.4.3 工业大数据应用案例 6.4.3.1 福特电动车 以福特公司(Ford)为例,他们将大数据技术应用到了福特福克斯电动车的产品创新和 优化中,这款车成为了一款名副其实的“大数据电动车”。第一代福特福克斯电动车在驾驶 和停车时产生大量数据。在行驶中,司机持续地更新车辆的加速度、刹车、电池充电和位置 信息。这对于司机很有用,但数据也传回福特工程师那里,以了解客户的驾驶习惯,包括如 何、何时以及何处充电。即使车辆处于静止状态,它也会持续将车辆胎压和电池系统的数据 传送给最近的智能电话。这种以客户为中心的大数据应用场景具有多方面的好处,因为大数 据实现了宝贵的新型产品创新和协作方式。司机获得有用的最新信息,而位于底特律的工程 师汇总关于驾驶行为的信息,以了解客户,制订产品改进计划,并实施新产品创新。而且, 电力公司和其他第三方供应商也可以分析数百万英里的驾驶数据,以决定在何处建立新的充 电站,以及如何防止脆弱的电网超负荷运转。客户与工业企业之间的交互和交易行为将产生 大量数据,挖掘和分析这些客户动态数据,能够帮助客户参与到产品的需求分析和产品设计 等创新活动中,为产品创新作出贡献。 6.4.3.2 通用电气燃气轮机 通用电气(GE)宣布推出第一个大数据与分析平台,该平台由新的 Proficy Historian HD (第一个基于 Hadoop 的历史数据管理软件)提供支持。Historian 在一个安全、封闭的架构 中提供实时数据管理、分析和机器与运营的连接,让全球重要行业能够从被动的工业运营模 式转向预测模式,从而提高生产率、减少浪费和停机时间。同时,位于美国亚特兰大的 GE 能源监测和诊断(M&D)中心,收集全球 50 多个国家上千台 GE 燃气轮机的数据,每天就 能为客户收集 10G 的数据。通过分析来自系统内的传感器振动和温度信号的恒定大数据流, 这些大数据分析将为 GE 公司对燃气轮机故障诊断和预警提供支撑,帮助 GE 公司对其上千 台燃气轮机进行监控,大大的提高了安全保障以及效率。GE 的工业强化平台不仅是迈向下 一代工业生产率的第一步,也是迈向下一代计算机技术的第一步。利用强大的软件和传感器 使机器智能化固然重要,但只有能够快速地分析、理解并让机器数据实时运转,才能真正带 我们走进受益于大数据的社会。这就是工业互联网,我们正在与合作伙伴一起建设一个客户 节约资金并为社会创造新价值的生态系统。 129 6.4.3.3 Vestas 风力涡轮机 图表 78:Vestas 利用大数据优化风力涡轮机 (来源:贵阳大数据交易所) 丹麦能源公司维斯塔斯(Vestas Wind Systems),作为风电技术领域居于世界领先的国际 化供应商,在世界上超过 30 个国家,安装有超过 26,000 台风机发电装置。Vestas 利用大数 据分析软件优化风力涡轮机配置方案,通过对天气数据及其涡轮仪表数据进行交叉分析,从 而对风力涡轮机布局进行改善,由此增加了风力涡轮机的电力输出水平并延长了服务寿命。 通过在超级计算机上的收集和运算得到的数据,维斯塔斯公司得以分析诸多类型的 PB 结构 化和非结构化数据:如气象报告、潮汐相位、地理空间与传感器数据、卫星图像、森林砍伐 地图,以及用于精确安装定位的气象建模研究等——这些以前需要数周时间完成的分析工作 现在只需不到一小时即可完成。在选址过程中,涡轮机一旦投入运转,维斯塔斯工程师就会 使用全新的软件和超级计算机预测其性能,包括分析各个叶片对气候变化的反应,并确定最 佳维护时间。在未来四年内,该公司将有望对更多类型、规模更大的气象数据集进行分析, 其分析量届时可达 20PB 以上。 大数据可以被用于产品售后服务与产品改进,无所不在的传感器、互联网技术的引入使 得产品故障实时诊断变为现实,大数据应用、建模与仿真技术则使得预测动态性成为可能。 130 6.4.4 工业大数据重点企业分析 6.4.4.1 西门子 (1)Teradata 统一数据架构 Teradata 天睿公司是全球领先的数据分析平台、应用和服务供应商。西门子公司通过部 署 Teradata 技术提升其制造流程及产品质量。西门子将首次整合来自传感器、制造流程、机 器生产数据,以及各种源系统的数据。 西门子公司部署 Teradata 统一数据架构。统一数据架构包括:Teradata 数据仓库平台、 Teradata Aster 大数据搜索平台,以及 Teradata 的 Hadoop 平台。Teradata 专业服务部门协助 西门子部署解决方案,整合不同的数据源,提供培训服务。该架构能够利用所有类型的数据, 包括传统的结构化数据以及新型的各种数据,将多结构化大数据等工业数据与传统数据相结 合进行分析。根据分析目的,西门子可以在最合适的平台上整合并分析不同类型的数据,适 用于日益增长的复杂分析,进一步提升战略规划和运营流程;可以获取数据的最高价值,为 进一步创新奠定坚实基础。 (2)Omneo Performance Analytics(PA)解决方案 西门子推出了 Omneo Performance Analytics(PA)解决方案,这是 Omneo“软件即服务” (SaaS)的最新应用。西门子产品生命周期管理(PLM)软件业务部门开发的 OmneoPA 基于大数 据分析为客户提供产品性能情报。该解决方案不仅能对整个供应链中的数据和客户体验进行 监测,还能在短短数秒之内对数十亿的数据组合进行分析。通过挖掘能够精确指出产品问题 来源的、隐含的信息,OmneoPA 能够实现对大数据的前瞻性分析。 131 图表 79:PLM 软件以数字化方式创建和验证完整的产品和生产运营过程 (来源:贵阳大数据交易所) OmneoPA 的发现功能可以对所有可能的数据集进行快速的组合分析,使客户对大数据 获得前所未有的深入了解,并可以清晰地识别并显示导致数据异常的最大因素,从而使每个 价值链决策都尽可能对现有和未来的产品性能产生最大、最积极的影响。现在,企业可以解 决以前想象不到的问题,节约宝贵的时间和资源。 OmneoPA 的图形化监测功能可以提供贯穿整个价值链的产品性能完整视图,进而使企 业可以持续地追踪与其产品相关的当前趋势和最新趋势。现在,基于事实的数据驱动型决策 可以贯穿整个价值链。 OmneoPA 拥有一个灵活、友好的控制面板,可以实现对数据分析方式和关键性能指标 (KPI)的定制化。数据分析方式和企业级关键性能指标被创建为具有多层定义的“建模对象”, 以便于重复使用。这种定义结构使用户能够交互式拓展定制的数据分析和关键性能指标,或 安排对它们的监测,并能够根据需要随时查看结果。 6.4.4.2 通用电气(GE) (1)Pivotal 的大数据技术 GE 近几年一直在宣传应用大数据的潜在优势,并在 2013 年迈出了重要的一步——在 Pivotal 上投入 1.05 亿美元。GE 日前宣布 Pivotal 日趋成熟回报在望。 GE 利用 Pivotal 的大数据套件和 EMC 的设备在 90 天里建成了旗下航空集团所需要的 132 系统,此系统连接多达 25 个航空公司的客户,可以用到所有的数据和分析。GE 是主要的 飞机发动机制造商之一。利用机器数据和分析的一个关键目标是提供更好的预测性维护。 (2)“ Predictivity”工业互联网解决方案——资产与运营成果 利用 GE 的“ Predictivity”工业互联网解决方案,全球各行业能够充分利用互联的机器、 先进的传感器和控制器,并通过分析工业大数据,提高物理资产和运营的效率和生产率。依 托 GE 新的工业强化平台,“Predictivity”是基于软件和跨行业的最先进产品,是专为客户设 计的能够安全地获得工业级决策支持工具、自动化和专业知识并资产优化和运营成果。包括 基于条件的维护、停机管理、燃料消耗、控制与工厂自动化。这些解决方案基于云的力量, 可在资产、设施或设备组层面预先部署在客户指定位置、GE 的云或可信的第三方公共云中。 例如,GE 新的灵活能效技术能够使公共事业部门运行先进的数据建模并模拟,从而优化电 力输出以满足不断变化的配电需求。如此,客户就能够把机器的密集型计算迁移到云中,可 在多种情况下节约时间和成本,如由于温度下降造成的电力需求高峰。 6.5 农业大数据应用现状分析 农业大数据广泛存在于耕地、育种、播种、施肥、植保、收获、储运、农产品加工、销 售等各环节(如图所示)。积极促进农业大数据的交易交换,并将这些数据进行专业分析解 读,可为政府提供智能决策,为农产品生产和流通提供科学指导,能提高农业流通效率,保 障食品安全,全面促进农业产业的发展。 图表 80:农业大数据可应用于全产业链 (来源:贵阳大数据交易所) 133 6.5.1 农业大数据现状 随着各类涉农大数据采集系统,如网络数据采集系统、农业生产环境数据采集系统、卫 星技术农业遥感数据采集系统等建立建全,农业大数据呈现出前所未有的增长态势。这些数 据主要来源于各级政府部门、农业科研教育机构及涉农企业单位。 6.5.1.1 政府部门农业大数据资源丰富 (1)各级农业管理部门 通过长期的生产实践,已积累了大量的农业数据。如种植业生产数据、市场供需相关 数据、农业管理数据等(具体内容如下表所示)。其数据对促进农业整个产业链发展有着 决定性的作用。 (2)各级财政部门 各级财政部门拥有涉农贷款额、涉农贷款同比增幅数据、不良贷款数据及相关涉农变动 情况等。其积累的数据对农业扶持政策的制定、农企信用的评级、农业扶贫策略的制定具有 重要作用。 (3)各地气象部门 气象部门是以天气预报、气候预测、人工影响天气、干旱监测与预报、雷电防御、农业 气象等服务项目为主要工作的政府部门。其积累的大量数据,对农业生产指导具有重大意义。 (4)各地检疫检验部门 部门承担所有进出境动植物检疫的工作,积累了大量的农产品检疫检验数据。利用这些 数据对农产品的质量安全追溯具有借鉴意义。 图表 81:政府农业大数据资源列表 数据类别 数据源 数据类别 数据源 自然资源与环境 耕地资源数据 养殖数据 疫情检疫数据 水资源数据 养殖环境数据 气象资源数据 饲料结构数据 134 生物资源数据 生物育种数据 种植业生产数据 良种数据 农业市场相关数据 市场供求数据 耕地现状数据 价格行情数据 播种数据 生产资料数据 农药使用情况 国际农产品数据 化肥使用情况 农业管理数据 农产品生产数据 灌溉效率数据 农产品流通数据 农业用水数据 农产品国际信息数据 (来源:贵阳大数据交易所) 6.5.1.2 行业内农业大数据发展迅速 (1) 物联网技术的普及,让农业大数据逐步被积累 农财大数据公司开发了一系列专业的数据信息软件(如农财宝 APP)、硬件设备,通过 精准分析有关气象、土壤、温度等数据,选出适合种植的作物,再根据市场供求信息反馈, 让农户在最快的时间就能判断自己何时种植以及种植什么作物。不仅能积累大量的农业生产 数据还积累了大量的农业生产环境数据。 广西南宁相思葡萄农业科技有限公司,将各葡萄园区采用“智能农业监控系统”。通 过 传 感器对园区数据进行高精准实时采集。数据采集上传之后,在云平台中进行分析统计计算, 自动生成各种报表。技术人员可便捷参考各项数据,为葡萄种植管理做精准快速的决策。 (2) 农业现代化,令农业大数据逐渐被丰富 化肥企业司尔特以农资信息云为架构,以测土配方施肥研究基地的大数据为支撑,提供 农资展示交易、测土施肥决策支持等个性化、主动式服务;在重点产粮大省,依托现有司尔 特物流与经销网络,整合土肥、植保、农技推广等基层服务机构的优势资源,重点建设 10080 家村级农资电商线下服务站。其转型模式优势在于拥有全国的土壤、气候以及作物的大数据。 (3) 农业电商的发展,带动农业大数据逐渐被完善 农业电商:一亩田是国内领先的农产品诚信交易平台,也是国内领先的农产品交易大数 135 据平台。截止到目前为止,一亩田的业务已经覆盖到了 1945 个县市,与 63 个市县达成战略 合作,平台的累积交易额已经突破百亿,并掌握了大量农产品舆情动态数据。 图表 82:农业电商产业链分布 (来源:贵阳大数据交易所) 6.5.2 农业大数据应用市场规模 6.5.2.1 农业大数据的应用价值广泛 一是生产智能决策。将历年农产品的属性、价格、生产量、需求量等数据进行分析,预 测一定时间内一个地区农产品的供给与需求,合理安排农产品的生产和流通,可减少农产品 价格异常波动造成的影响。 二是精准农业。运用大数据的理念、技术和方法手段,利用 GPS 定位、农田遥感监测、 智能农机具等采集监测的多类型异质、海量数据综合处理与分析,能够实现设施农业生产各 个环节的精准管理。 三是农情监测与预警。将农作物生长信息数据等上传到云端,进行存储,再将数据进行 可视化处理,形成农业知识库,运用大数据分析技术进行农情监测、灾情预报、灾情分析、 辅助就在决策、应急联动等,并面向全国各地政府部门、科研机构提供客观可靠、快速及时 的农业生产决策指导服务。 四是提高农产品物流组织化程度。农产品加工、包装、存储、运输、配送等整个环节数 136 据的及时反馈,通过整合各环节数据,利用数据进行智能分析,进行实时调节管控,可以实 现农产品物流运输统筹、农产品仓储统筹、农产品物流配送优化等。 五是农业科研。建立基于权限的全国科研资源的大数据服务中心,将农业相关的各种数 据集中到农业大数据服务中心,整合各类科研数据资源,为科研育种、农业试验、模型研究、 资源共享提供支撑。 六是利于食品安全追溯。将农产品从源头进行标签化,结合农产品物流的高度整合,有 利于农产品的追溯,实现农产品安全生产。 6.5.2.2 市场对农业大数据的需求巨大 首先,也是最重要的,农产品生产者。充分利用当地的天气数据、GPS 数据、土壤细 节、种子、化肥和作物保护剂规格等数据,进行长期和短期模拟,可有效应对气候变化、市 场需求或其他参数造成的“事件”。可见对实现利润最大化的农企而言,农业大数据不可或缺。 其次,政府及农业监管部门。利用农业大数据,政府及农业监管部门可以对农业的生产 流通做出合理决策,并且实现农产品质量的安全追溯,全面提高农业产业水平。 再次,种子、植物保护剂和肥料的供应商。通过对需要接收的数据,建立统一的模型, 并使用专用算法,可便向农民提供尽可能最好的解决方案和服务。 还有,农业机械制造商。他们不仅需要确保其资产能在最低成本保持最长的正常运行时 间,还要支持移动数据采集(如土壤样本、水分监视器和传感器、田间作物的颜色、生长速 率、天气破坏、营养水平、农作物品种等),并能让这些信息在价值链内被实时获取,以进 行进一步的处理。 最后,气象站和实验室、贸易商和行业合作伙伴、技术和解决方案提供商等也是这个日 益复杂的生态系统的一部分,他们对农业大数据也有巨大的需求。 6.5.2.3 农业大数据应用市场规模 中国是一个农业大国,农业生产和农业经济管理活动无时无刻不产生着大量的数据,通 过对农业大数据进行收集、分析,从中提取有价值的信息,做出科学的预测,将为农业生产 137 管理、涉农企业发展以及政府制定政策等农业方面的应用提供有力的指导。随着农业信息化 程度的大跨步增长,农业大数据的积累及应用也将快速增长。贵阳大数据交易所预测,2016 年至 2020 年,中国农业大数据应用市场规模将保持高速增长,2019 年增速达最大值,至 2020 年大数据应用规模可达 96.90 亿元。 图表 83:2014-2020 年农业大数据应用市场规模及增长趋势 6.5.3 农业大数据应用案例 (1) 牧场数据采集监测服务商 Silent Herdsman Silent Herdsman 成立于 2009 年,总部位于英国格拉斯哥市,公司的原名为 Embedded Technology Systems(嵌入式技术系统公司)。Silent Herdsman 专注于牧场数据采集与监测, 服务于奶制品及牛肉生产的农场主。农场主给奶牛脖子上佩戴监测设备,通过无线网络,利 用智能手机、平板电脑等设备可以实时监测奶牛生长状况与行为,如健康状况、是否处于发 情期等。当发现异常情况时,与 Silent Herdsman 系统相连接的设备就会发出警报告知农场 工作人员。使用该系统可以同时管理规模多达 1000 头奶牛的农场,通过智能设备及信息系 统的辅助,农场管理效率将发生质的改变。 (2) 云端智能农业管理软件 FarmLogs 138 图表 84:FarmLogs 云端智能管理软件 (来源:贵阳大数据交易所) FarmLogs 成立于 2012 年,总部位于美国安阿伯市,是创业孵化器 Y Combinator 孵化 的一个项目。FarmLogs 提供云端 SaaS 模式农场管理服务,农民通过桌面 WEB 界面及移动 端 App 来管理农场。中小农场主可以通过它计划、管理、监测、分析农作物生产过程,通 过 FarmLogs 农场地图信息展示,可以掌握不同作物农作时间、获得每小时的天气信息,还 可以及时了解各种农产品的市场价格动态。 FarmLogs 的突出特点为:农民通过移动终端,如 Pad 就可以实现上传农场数据,并获 取分析结果,使农场管理更加便捷,将农民从原来繁重低效的工作中解放出来。 FarmLogs 公司 CEOJesseVollmar 称公司正在开发基于大数据分析,具备智能预测功能 的农作物轮作优化的产品。同时也在探索使用低成本的蓝牙设备来监测农业工具在使用过程 中的数据,通过实时上传和分析,为农业劳作提供指导。 (3) 农场云端预警服务商 VitalFields 139 图表 85:VitalFields 农场云端预警服务 (来源:贵阳大数据交易所) VitalFields 成立于 2013 年,总部位于爱沙尼亚共和国首都塔林。VitalFields 的目标是实 现农场天气、病害、成本投入的精准预测管理。农民将农场的信息上传至 VitalFields 云端农 场日志中,可以用手机实时查询农场信息,VitalFields 通过对农民日志分析,告知农民在农 作物生长的每个阶段需要投入的成本、病虫害风险防治及天气预测。使农民能更有效的管理 农场,通过成本控制和风险预测管理来提高收益。 (4) 大数据意外天气保险公司 The Climate Corporation The Climate Corporation 成立于 2006 年,总部位于美国旧金山。The Climate Corporation 是一家为农民提供天气意外保险的公司。该公司通过 2500 万个远程传感器采集天气数据, 同时结合天气模拟技术与大量的植物根部特性与土质特点等信息,并将信息通过地图技术绘 制全美国的所有土地气候数据。在综合分析各种数据后,会通过系统推送给农民未来可能会 破坏农业生产的极端天气,并推出相对应的保险业务,由农民自由选择合适的保险进行投保, 从而使意外天气对农民的损失影响降到最低。 6.5.4 农业大数据重点企业分析 伴随“互联网+农业”浪潮的席卷而来,以及工业大数据的兴起,农业大数据的概念也 被人们越来越多提及。下面将十个与农田与农业产业链大数据相关的典型农业大数据企业介 绍如下: 140 (1) 华农天时(北京)科技有限公司 成立时间:2014 年 1 月 公司介绍:基于大数据技术和信息化分析为农业及其他行业提供气象信息、智慧监测、 预测及分析的大数据科技公司,为农业企业和政府相关机构提供三农产业相关的优化管理和 风险控制的综合解决方案。 优势产品:包括智慧农业物联网综合解决方案、农场管理信息化软件、农业保险咨询服 务、农田级天气和气候预测、科技服务。 (2) 吉林云耕农业股份有限公司 成立时间:2015 年 9 月 公司介绍:云耕农业主营业务是依托“吉林一号”卫星空间数据信息,提供农业大数据 综合服务。 优势产品:云耕农业开发了农业大数据服务、大宗商品交易及物流管理,农业文化旅游 服务、人口大数据服务及智慧农业孵化园五个平台系统,形成全方位、全过程农业大数据服 务体系。 (3) 广州大气候农业科技有限公司 成立时间:2015 年 11 月 公司介绍:大气候农业全称广州大气候农业科技有限公司,成立于 2015 年,是一家以 智能化农机设备为载体,基于智能硬件打造农业物联网,建立起局部的农业大数据平台,为 农业种植提供实时、精准的种植数据信息推送,辅助农业种植决策和种植监管。 优势产品:大气候农业自主研发了硬件产品—农眼,可以实时收集土壤、气象、农作物 品类、病虫害、信息。 这些数据会汇集到后台系统,农民可以在手机上实时查看农田、做 物的相关信息,同时也可以依据这些气象数据做种植、看护决策。 此外,这些数据也可以 开放给农技专家。 (4) 北京布瑞克农业信息科技有限责任公司 成立时间:2012 年 1 月 公司介绍:综合农业信息化与金融技术服务提供商。 “2013 中国大数据应用风云榜”, 北京布瑞克农业信息科技有限责任公司凭借其农产品数据库及模型系统产品的市场优异表 现与 IBM、甲骨文、惠普、SAP、英特尔、微软、国际级企业同台获得了评委会授予的“2013 年度中国农业行业大数据最佳服务商奖”。 141 优势产品:布瑞克农产品数据终端、电子商务平台--农产品集购网 16988.com、农业咨 询服务。 (5) 量子数聚(北京)科技有限公司 成立时间:2015 年 1 月 公司介绍:龙信数据推出的国内首个专注于农业领域的集数据资源整合、分析成果发布、 理论方法共享、观点交流互动为一体的应用云平台。 优势产品:农业大数据应用云平台。 (6) 尚正(北京)信息技术有限公司 成立时间:2015 年 7 月 公司介绍:是一家致力于提供农业数据化、标准化和金融化服务的高新技术企业。 核 心目标:公司致力于为市场提供基于食品安全的农产品生产、流通、品质可溯、价格公道、 消费数据监测和评价,由此保障农产品的信息对称、配送及时。 优势产品:公司为政府机构提供基于景气研判、为经营机构提供基于资产估值、机会发 现和风险预警的农业管理决策支持系统、为研究机构提供基于系统数据、集约交易和金融衍 生的农业经营竞争情报系统、分析模型和成果检验的农业科研协同创新系统。 6.6 能源大数据应用现状分析 能源大数据,既是指大数据技术在能源领域的实际应用,也是指能源生产、能源消费、 能源结构转型及相关技术升级与大数据产业的高度融合。随着大数据技术的进步和工业两化 的提升,大数据产业和能源行业的融合也会进一步增强,大数据在能源行业的交易应用前景 将更加广阔,而应用的实现需要数据进行支撑,这就为能源大数据交易市场创造了更多的发 展机会。 6.6.1 能源大数据现状 能源大数据大部分掌握在政府管理部门手中,随着政府数据的公开和信息化产业的兴起, 掌握在企业手中的能源数据不断增加,越来越多的跨界竞争者正在进入能源服务领域,如电 信公司、安保公司、设备制造商等,产生巨大价值。总的来说,根据能源大数据的产生可分 为政府能源大数据和企业能源大数据。 142 图表 86:中国能源大数据数据源 序号 政府数据 企业数据 1 能源局 能源开发企业 2 工信部 能源加工企业 3 国土局 能源消费企业 4 发改委 能源服务企业 (来源:贵阳大数据交易所) 6.6.1.1 政府能源大数据现状 能源主体分散在能源局、工信部、国土资源局、发改委等,每个部门都建设有采集能源 信息的各种系统。 (1)能源局:发布智能电表标准未来提供云计算大数据支持 国家能源局 2015 年批准发布了《智能电能表功能规范》等 8 项智能电能表标准,提升 安全防护、防窃电、抗强磁干扰等技术,为智能电网建设提供重要的技术支撑。 此次发布的系列标准分别从功能定义、外观结构、技术指标、试验检测等方面进行规范 和统一。一是明确智能电能表的定义及功能,明确可实现电能量双向及阶梯计量、负荷控制、 智能防窃电、实时监测、信息交互等多种功能;二是统一外观结构。智能电能表外观形式设 计由原来的上千种缩减至 4 种,大幅降低了电能表企业设计、开发、加工等成本;三是统一 通信规约及安全规范,实现了电能数据采集与设定双向交互,电表数据可实时采集、网上缴 费和电量信息查询等功能,可为智能家居的电能应用提供大数据、云计算等数据支撑;四是 创新提出电源电压影响等多个试验方法,建立了标准化检测方法体系,大大提高了产品质量 和可靠水平。 (2)发改委:加快培育“互联网+”、大数据等新增长点 发改委发文称,2015 年上半年,面对错综复杂的国际国内环境和经济下行压力,全国 高技术产业和战略性新兴产业始终保持稳中提质的发展势头,以创新驱动发展战略为引领, 143 大力推进大众创业、万众创新,加快培育电子商务、空间基础设施、“互联网+”、大数据等 新的增长点,为稳增长、促改革、调结构、惠民生提供了强劲的动力。 新兴产业方面,《国务院关于积极推进“互联网+”行动的指导意见》、《国务院关于大力发 展电子商务加快培育经济新动力的意见》等政策出台后,随着移动互联网、云计算、大数据 等新技术的广泛深度应用,软件和信息技术服务业稳中向好。 受以上政策影响,“互联网+能源”行业也会得到政策、软件和信息等方面的利好,这将 有利于能源数据的采集、存储加工,为能源数据的交易打好数据基础。 (3)国土资源部:国土资源云 国土资源部审议通过了建设“国土资源云”方案,表明国土资源工作已经进入了大数据探 索阶段。建设“国土资源云”,就是要通过各类数据轨迹的“大覆盖”,推动各类同构、异构数 据的“大融合”,提升分析数据内在规律和发展趋势的“大智慧”,实现从数据到信息、到显隐 性价值挖掘的“大应用”,为国土资源工作保障和服务经济社会建设提供有力支撑。与这种支 撑同时受到高度关注的,还有大数据安全。 纵观国土资源工作,包括海洋、测绘地理信息、地质调查等数据的互联互通和信息共享, 必须借助互联网、传感器件等电子设备才能实现。 能源数据作为国土数据的一部分,随着国土资源云实现应用,能源行业规划会更加科学, 能源政策制定也多了数据支撑,而且涉及国家安全的原始能源数据也可以通过加工来实现数 据交易,最终促进能源产业的健康发展、可持续发展。 6.6.1.2 企业能源大数据现状 2015 年,互联网巨头继续加快在智能能源市场跑马圈地的速度,纷纷布局能源互联网、 大数据市场。企业能源大数据根据其获得渠道,大体可以分为如下几个方面:行业协会、能 源勘探企业、能源开采企业、能源加工企业、能源运输企业、能源消费企业等。当前,将大 数据技术应用在智能能源领域发展态势较好的企业有煤炭工业协会、中石化、中石油、阿里 巴巴、腾讯等等。 (1)煤炭工业协会:煤炭大数据 144 在中国煤炭工业协会、中国煤炭运销协会指导和支持下,中国煤炭市场网联合国内顶尖 大数据研发机构共同研究开发的“中国煤炭大数据”平台。首先,该平台充分整合了煤炭以及 相关行业的海量数据,从产业链角度对数据进行规划和清洗加工,以科学的数据分析方法, 借助 GIS、数据图表等数据可视化展示技术,清晰、直观的监测整个产业链运行和发展;其 次,平台汇集、整理了超过 10 万个宏观、行业、价格的时间地域序列指标,超过 8000 万条 数据,涵盖全国 7200 余个铁路货运站点数据,60 万艘全国近海及内河船舶数据,形成海量 数据集合;再次,平台致力于打造聚焦煤炭产业链各个环节的主题数据库,如生产、贸易、 物流、消费、信用和金融等,依托云计算处理能力,进行数据汇集、整理、挖掘,发现规律、 预测未来,为企业高效运营提供支撑,为政府科学决策提供强有力的支持。 平台以“大数据助力能源革命”为使命,以“专心、专注、专业”为服务标准,致力于煤炭 领域的数据价值发现。目前已完成地理信息系统(GIS)、交易数据、预警预测以及信用评 价等基础功能开发工作。平台将继续整合交易、金融及物流等煤炭产业链关键环节。 (2)中石化 中石化和阿里云已就新一轮中石化信息化改造达成合作,阿里云将为中石化提供云计算 和大数据平台服务。中石化正在进一步信息化改造,内部信息系统要实现改造和云化,阿里 云在此次改造中主要担任的角色就是提供基础的云和大数据平台。 目前,中石化的信息化服务主干架构集成商为石化盈科信息技术有限责任公司,该公司 由中石化和电讯盈科于 2002 年成立。业务包括企业信息化基础设施、石化装置的先进控制 与优化技术、生产过程管理、经营业务管理等。过去中石化内部的各种数据大量使用了 IBM 的软硬件来做处理,石化盈科在此基础上做集成。 (3)中石油 天猫与中国石油湖南销售公司(简称“湖南中石油”)宣布将整合资源,启动“互联网+ 能源”服务平台,以及移动支付服务模式。 天猫方面介绍,天猫将整合阿里巴巴生态圈,如淘宝、聚划算、高德、大数据以及蚂蚁 金服等平台,从网上店铺、移动支付、大数据预测、O2O 等领域,帮助湖南中石油进行“互 联网+”改造;而湖南中石油将借助阿里巴巴集团,在旗下 550 多座加油站及其便利店完善售 145 前售后服务。 具体来说,消费者可以通过天猫或手机淘宝、手机天猫进入湖南中石油天猫官方店,九 八折购买面额 100 到 400 不等的电子加油券,凭借手机短信通知的动态密码或订单成功后的 电子凭证,去湖南中石油线下的任何一家加油站核销加油。下一步,天猫将利用云计算和大 数据服务,为湖南中石油提供油品销售建议。 (4)国家电网 国家能源局完成“2015 年能源自主创新和能源装备专项拟安排项目”公示,国电集团所 属龙源电力申报的“龙源运营大数据建设”以在研发(实验)项目公示名单中排名第五的成绩, 被正式列为 2015 年能源自主创新项目。该公示排名严格按照 2015 年能源自主创新和能源装 备专项项目专家评审排序结果产生,意味着“风电大数据建设”项目被国家能源局正式列为 2015 年能源自主创新项目的同时,国家将按照项目固定资产投入的比例,向项目承担单位 划拨相应的资金资助。 (5)协鑫新能源 协鑫新能源在光伏电站设计数据,电站实时数据,电站运营数据,通过对表,数据采集 分析集中运营系统,现场诊断,形成一个封闭的运行环境。 光伏电站的“职能运维”作为一个技术平台,可以集中运维,减少人员进行实时的预警和 远程监控,进行大数据的分析。可以降低成本,提高运行效率,提高投资决策能力。在光伏 电站稳定运营过程中提出了线上智能运维平台,建立电站的实时监控、分析决策系统,建立 一个专业的技术团队进行线上诊断,线下诊断,线上修复。 (6)远景能源 在风电业,随着以远景能源为代表的企业大力推动智能风机和智慧风场的发展,风场将 源源不断地产生海量的,急需要有效管理的数据。 远景通过风电管理平台格林云,用大数据产品 Data Ocean 将公共天气数据,风电场设 计数据、风电场实时流体模型数据、风电场设备运行数据、风电场生产检修数据、风机设计 数据、风机模拟数据等全生命周期的风电企业数据整合成一体,基于公共信息模型(CIM) 把现实存在广泛关联的数据建立了系统化的数据链接,支持强大的数据管理、数据质量和数 146 据治理模型,并利用 Hadoop 等大数据技术平台管理上 PB 级的对象数据、采样数据、风资 源和地理数据等,提供结构化数据和非结构化数据的访问,以不同的方式有效管理不同的数 据集,从而得到企业数据的“唯一版本事实”(single version of the truth),有效支持后续的大 数据分析挖掘和价值创造。远景的智慧风场 Wind OS™平台,管理包括美国最大的新能源上 市公司 Pattern 能源、Orion 能源、美国大西洋电力公司等在内的 2000 万千瓦的全球新能源 资产。 6.6.2 能源大数据应用市场规模 6.6.2.1 能源大数据的应用价值 随着能源行业两化程度的加深,以及各种监测设备和智能传感器的普及,大量包括石油、 煤炭、太阳能、风能等等的数据信息得以产生并被存储下来,这就为构建实时、准确、高效 的综合能源管理系统提供了数据源,可以让能源大数据发挥作用。另外,能源行业基础设施 的建设和运营涉及大量工程和多个环节的海量信息,而大数据技术能够对海量信息进行分析, 帮助提高能源设施利用效率,降低经济和环境成本。最终在实时监控能源动态的基础上,利 用大数据预测模型,可以解决能源消费不合理的问题、促进传统能源管理模式变革、合理配 置能源、提升能源预测能力等,体现出能源数据带来的价值。 图表 87:能源领域大数据应用 (来源:贵阳大数据交易所) (1)能源行业运行负荷预测 147 通过大数据进行分析,可以精确地掌握能源负荷变化规律,提高负荷预测的精度。 (2)新能源需求预测 分析新能源产出与气象环境条件、石化能源的关联关系,精确预测新能源行业发电能力。 (3)故障预测与健康管理 研究检修、运行工况、气象条件等因素对设备状态的影响,基于设备运行机理和退化规 律,开展故障预测与健康管理。 (4)能耗行为分析 基于用户的能源消费习惯,为优化用户的节能减排行为提供建议。 (5)能源优化调度 基于气象环境信息、能源产出能力、用户耗能习惯和设备健康状态,对能源的跨区域调 度提供辅助决策支持。 6.6.2.2 需求分析 能源大数据能够将电力、石油、煤炭等能源领域数据以及人口、地理、气象等诸多领域 数据,进行综合采集、处理、分析与应用思想,发展能源大数据将加速推进能源产业发展及 商业模式创新。 能源大数据产业发展需求分析: (1)针对能源规划(能源结构调整和转型)、综合能源决策(各能源协调发展)、跨部 门协同管理、个性化的公众信息服务等需求,建设全方位能源大数据服务平台。 (2)整合广泛的能源大数据,逐步建设能源大数据库,提供能源状况判别及预测。辅 助支撑能源决策,支持智慧能源服务,加快能源大数据服务体系创新。 (3)针对我国的能源结构、安全、有效运行的需求,建设能源管理协同决策平台。整 合资源储量数据、开发数据、加工数据、消费数据,提供需求预测、能源预警等功能,实现 能源开发和消费协同决策,为能源开发、消费和规划相关参与方提供一站式数据服务。 148 (4)针对智慧能源业务的需求,建设具有设备智能、多能协同、信息对称、供需分散、 交易开放等主要特征的能源产业。 6.6.2.3 能源大数据应用市场规模 能源行业作为国民经济与社会发展的基础,正在受到大数据的深刻影响,21 世纪必须 通过大数据科技创新来应对长期可持续发展面临的能源问题挑战。从增加清洁能源供应、控 制能源消费、降低能耗,到绿色建筑和智能电网建设都会用到大数据。据贵阳大数据交易所 预测,未来,能源大数据应用市场呈现快速增长,至 2020 年能源大数据市场规模预计达到 93.27 亿元。 图表 88:2014-2020 年能源大数据应用市场规模及增长趋势 6.6.3 能源大数据应用案例 (1)德国利用大数据分析客户用电习惯 智能电网现在欧洲已经做到了终端,在德国,为了鼓励利用太阳能,会在家庭安装太阳 能。通过电网收集每隔五分钟或十分钟收集一次数据,收集来的这些数据可以用来预测客户 的用电习惯等,从而推断出在未来 2~3 个月时间里,整个电网大概需要多少电。有了这个预 测后,就可以向发电或者供电企业购买一定数量的电。通过这个预测后,可以降低采购成本。 如提前买就会比较便宜,买现货就比较贵。 另外,维斯塔斯风力系统,依靠的是 BigInsights 软件和 IBM 超级计算机,然后对气象 149 数据进行分析,找出安装风力涡轮机和整个风电场最佳的地点。利用大数据,以往需要数周 的分析工作,现在仅需要不足 1 小时便可完成。 (2)阿姆斯特丹 阿姆斯特丹是世界上最早开始智能城市建设的城市之一,同时是欧洲智慧城市建设的典 范。 作为荷兰最大的城市,阿姆斯特丹共有 40 多万户家庭,二氧化碳排放量占全国的三分 之一。为了改善环境问题,该市启动了 WestOrange 和 Geuzenveld 两个项目,通过节能智慧 化技术,降低二氧化碳排放量和能量消耗。还实施了 Energy Dock 项目,在阿姆斯特丹港口 的 73 个靠岸电站中配备了 154 个电源接入口,便于游船与货船充电,利用清洁能源发电取 代原先污染较大的燃油发动机。为了节省能源,启动了智能大厦项目,在未给大厦的办公和 住宿功能带来负面影响的前提下,将能源消耗减小到最低程度,同时在大楼能源使用的具体 数据分析的基础上,使电力系统更有效地运行。为建设可持续公共空间,启动了气候街道(The Climate Street)项目,缓解乌特勒支大街的拥堵。 (3)西雅图 利用数据节省电力能源。该市与微软和埃森哲(Accenture)合作了一个试验项目,以减少 该地区的能源使用。该项目收集并分析从市区建筑物管理系统中得来的众多数据集,通过预 测分析,找出哪里可以减少能源使用,或者根本不需要使用能源。项目的目标是将该地区的 电力消耗减少 25%。电力消耗减少 25%。 6.6.4 能源大数据重点企业分析 随着经济增速的下降和节能减排政策的推进,能源行业的传统业务利润持续压缩,大数 据产业与能源产业相互融合,将带来新的业务点与营收点,能源大数据产生于整个能源行业 的各个环节,能够在发电、电力消费、新能源等领域持续发展不断做出贡献。 (1)法国电力集团 法国电力集团(EDF)成立于 1946 年,是一家国有综合性跨国能源公司,在核电、水电 和可再生能源等清洁能源领域具有较强的国际竞争力。法国电力拥有欧洲最大的电力生产体 系,通过子公司以独资或合资形式参与亚洲、拉美和非洲的 20 多个国家的电力项目,服务 150 的国内客户约 3000 万,海外客户超过 1500 万。2013 年公司实现营业收入 934.7 亿美元,实 现利润 42.6 亿美元,在世界 500 强企业中排名 77 位。作为全球领先的电力基础设施服务提 供商,法国电力公司非常重视大数据在企业运营分析管理中的作用,通过设立专业机构、完 善数据基础、增强分析能力,不断发掘数据资产价值,为企业战略转型与服务升级提供有效 的决策支撑。 其基于大数据的运营分析的主要做法主要有三个方面:首先,建立独立机构支持运营决 策。法国电力在客户关系管理数据库中,对用户信息进行了全面搜集,包括客户名称、电费 计价方式、客户用电行为特点等。法国电力研发部下成立了职能服务型的运营分析中心,专 门负责对客户数据进行分析,以对销售管理进行支撑。其次,运用大数据技术挖掘数据资产 价值。目前全法已经安装 3500 万智能电表,电表产生的数据量将在 5-10 年内达到 PB 级。 智能电表采集的主要是个体家庭的用电负荷数据。以每个电表每 10 分钟抄表一次计算,3500 万智能电表每年产生 1.8 万亿次抄表记录和 600TB 压缩前数据;每天产生 5 亿次抄表记录, 和大约 2TB 的抄表数据。这些电表数据,结合气象数据、用电合同信息及电网数据,构成 了法国电力的大数据。最后,实施专业化管理提升数据质量。法国电力认识到,数据质量问 题事关重大。IT 部门存在一定的能力局限性,尤其是在面对技术应用、企业流程甚至是整 个组织等跨专业性、全局性问题时。法国电力通过研究发现,在应用数据开展分析之前,相 较于个人对不同信息系统中数据的单次提取和数据质量管理行为,采取建立大数据库对数据 进行集中,由专门的数据质量管理专家对数据质量进行管控、自动集中监测的方式,有助于 提升数据库的性能,促进数据质量管理经验的分享以及规避个人处理能力的不足。 数据研究和分析是企业适应市场需求变化的重要基础和手段。法国电力公司作为能源基 础服务供应商,通过建立企业数据分析中心,对消费者相关数据进行研究分析,有效增强了 市场应对能力,支撑了企业快速发展,取得了良好社会与经济效益。 (2)Opower 美国 Opower 应用了行为科学理论,对消费者的用电行为进行更全面的分析,由此为用 户提供更适合于他们的节能减耗方案。 Opower 所做的业务主要有以下几个方面: 1)提供个性化的电力账单 151 通过这份电力账单,家庭的制冷、采暖、基础负荷、其他各类用能等用电情况被分类列 示,并将用电量跟上个月的进行相比,鲜亮的图表呈现方式让用户对自己的耗能情况一目了 然。电力账单上除了有本户用电数据的分析之外,还有相近区域内最节能的那 20%的用户 耗能数据——即所谓的邻里能耗比较,紧接着它会据此提供建设性的节能方案。 2)四类面向能效管理的服务 Opower 公司通过自己的家庭能耗数据分析平台,对由公用电力公司提供的家庭能耗数 据进行深入地分析和挖掘,进而为用户提供一整套适合于其生活方式的节能建议。尽管 Opower 志在为用户节能,但其自我定位是一家“公用事业云计算软件提供商”,由此可知 Opower 公司的运营模式并非 B2C 模式(企业对终端消费者),而是 B2B 模式(企业对企业)。 Opower 公司为公用电力公司提供包括帮助电力公司向客户提供更全面详细的电子消费数据、 为电力公司提供需求侧数据界面、帮助电力公司分析客户电力消费行为、为电力公司要设计 和改善电力营销服务。通过这四类服务,Opower 既扮演数据收集整合的角色,也为客户提 供基于深入分析的有效性建议,而这四类服务都基于可扩展的 Hadoop 大数据分析平台。 3)节能省钱减排 麻省理工学院研究员阿科特曾做过关于 Opower 对家庭用电量影响的研究,证实 Opower 的用电报告让用户的用电量减少了 2%;根据其他第三方研究机构田野调查的结果,Opower 平均帮助用户节能 1.5%-3.5%。而这些成效都源于 Opower 为用户提供的节能方案。 (3)国家电网 国家电网作为我国的电力能源领域重要企业,为了建设全球能源互联网,国家电网公司 启动了相应的信息通信工作的支撑工作,通过大数据、云计算、物联网和移动互联技术广泛 应用,建立电力云和电力物联网,从而支撑特高压电网、泛在智能电网支撑全球能源互联网 的建设。 在大数据方面,首先是要建立企业级的大数据平台,通过大数据平台实现数据的采集、 传输以及存储和处理。在大数据平台之上建立决策支持类、实施采集类、在线监测类计算分 析类大数据业务应用。 比如,通过电力负荷预测,组织江苏电力公司、山东电力公司利用大数据技术,基于电 力负荷用户档案数据,结合气侯、气温变化等数据,建立用电数据分析模型,实现用电负荷 152 特性分析并且预测未来用电负荷曲线。江苏省电力公司在今年 4 月份,通过构建几百个分析 模型,对于江苏省全省的用电高峰进行了预测,成功在今年 8 月份得到验证。 其预测江苏省全省的用电高峰出现在 8 月 6 号,事实上真正的出现时间是 8 月 5 号 ,就 差一天。他们预测的最高电量是 8481 千瓦时,实际发生在 8440,误差率仅仅 40 万。 通过前期试点,负荷预测准确率提高到 99.5%,最高负荷发生时间偏差一天,峰谷差率 下降了 5%。对配电网抢修精益化大数据预测,实时监测、故障预测、抢修达标率,设备故 障预测准确率提升 40%,抢修达标率达到 15%,抢修时长缩短 30 分钟。 6.7 电信大数据应用现状分析 6.7.1 电信大数据现状 电信运营商是电信大数据的主要拥有者。经过多年的数据积累,电信运营商拥有诸如财 务收入、业务发展量等结构化数据,也会涉及到图片、文本、音频、视频等非结构化数据。 从数据来源看,电信运营商的数据来自于 B 域数据、O 域数据、M 域数据和 IOT 四个端口。 从数据规模来看,无论是用户数据、消费数据还是市场规模都是海量的,同时各个数据量均 保持一个高速的增长率。 6.7.1.1 电信大数据源 电信运营商大数据来源总体分为 4 种:B 域数据、O 域数据、M 域数据和 IOT。 (1)O 域数据:O 域数据产生于运营商的 DPI(深度包解析)系统、网络设备、网管 系统、资管系统、信令监测系统等等。其中 DPI 系统能够获取全量互联网访问行为,结合 爬虫系统能够为用户刻画出精准的画像模型。同时,运营商基于 LAC/CI 和 MR 能够获得连 续性非常好的人群流量信息,运营商位置信息在个人征信、精准营销、客流监控、商圈价值 评估、店铺选址等领域都有重要的应用价值; (2)B 域数据:B 域数据主要为经营分析数据,产生于计费系统、经营分析系统、客 户关系管理(CRM)、业务运营支撑系统(BOSS)、增值业务综合运营平台等系统; (3)M 域数据:M 域数据主要产生于 ERP、办公自动化(OA)及财务相关系统等。 (4)IOT:随着移动互联网和物联网的发展,IOT 未来将是一个千亿级别的连接量级, IOT 流量和数据的承载大多也是基于运营商网络。 153 图表 89:电信大数据数据源 (来源:贵阳大数据交易所) 6.7.1.2 数据规模 (1)用户数据规模 截止 2015 年年底,全国电话用户总数达到 15.37 亿户,其中移动电话用户 13.06 亿户, 固定电话用户 2.31 亿户。固定宽带接入用户达到 2.13 亿户,移动宽带用户达到 7.85 亿户, 其中 4G 用户维持高速增长,全国新增 4G 用户 2.89 亿,总数达到 3.86 亿户。移动电话用户 普及率达 95.5 部/百人。 巨大的电信用户数据,覆盖面非常广泛,电信运营商可以根据这些用户数据进行用户画 像、用户预测等数据加工,进而为自己或客户提供数据产品。 (2)消费数据规模 2015 年,全国移动电话去话通话时长 28499.9 亿分钟;全国移动短信业务量 6991.8 亿 条;移动互联网接入流量消费达 41.87 亿 G,同比增长 103%,月户均移动互联网接入流量 达到 389.3M,同比增长 89.9%。手机上网流量达到 37.59 亿 G,同比增长 109.9%,在移动 互联网总流量中的比重达到 89.8%。固 定互联网使用量同期保持较快增长,固定宽带接入时 长达 50.03 万亿分钟,同比增长 20.7%。 图表 90:2015 年电信业务量统计表 序号 指标 单位 总量 1 移动电话通话量合计 亿分钟 28499.9 2 移动短信业务量 亿条 6991.8 154 3 移动互联网接入流量消费 亿 G 41.87 4 月均移动互联网接入流量 兆 389.3 5 手机上网流量 亿 G 37.59 6 移动电话通话量合计 万亿分钟 50.03 (来源:工信部运行监测协调局) 大量的电信业务消费数据,不仅能够为电信运营商带来营业利润,大数据时代最重要的 一点是:大量的消费数据不仅能够完善用户画像,而且能够分析出各项业务的比重,进而了 解到大众的消费趋势,根据消费趋势进行业务创新、精准营销等大数据服务。 6.7.2 电信大数据应用市场规模 从总体趋势上来看,电信产业已完成人口红利模式的发展阶段,正在向流量红利模式和 数据红利模式转型,电信运营商基于大数据转型将成为一种趋势,海量数据资产将会成为运 营商的下一个“金矿”。 6.7.2.1 国内运营商大数据应用阶段划分 纵观国内电信行业数据挖掘的发展,大数据其实是在前期海量数据的基础上进化而来的, 只不过数据存储、处理能力与处理技术上有新的突破而已。传统意义上的海量数据是以结构 化数据为主,伴随着近几年物联网、电子商务、移动互联网的快速发展,非结构化新数据和 结构化传统数据一起构成了大数据。大数据是时代发展的必然产物,也是传统数据的延伸, 是对传统数据在深度和广度上的补充。所以,传统的数据挖掘应用与当前热议的大数据应用 是一脉相承的,其本质上都是运营商在数据挖掘基础上开展业务运营、提升运营效率,大数 据应用将是电信运营商数据化经营的新阶段。 这里,将国内电信运营商的数据化经营的发展分为三个阶段:起步阶段、扩展阶段、大 数据应用阶段。目前国内运营商都处在数据化经营的第二阶段,仍以传统的结构化数据的挖 掘应用为主,至于大数据应用则都是处于前期摸索的起步期。 155 图表 91:国内电信运营商数据化运营阶段划分 (来源:贵阳大数据交易所) 6.7.2.2 应用需求分析 现阶段电信运营商利用其拥有的大数据,进行全面深入、实时的分析和应用,是应对新 经济形势下的挑战,避免沦为管道化的的关键。目前,国内运营商大数据市场需求主要有五 方面:网络管理和优化需求,包括基础设施建设优化和网络运营管理和优化;市场与精准营 销需求,包括客户画像、关系链研究、精准营销、实时营销和个性化推荐;客户关系管理需 求,包括客服中心优化和客户生命周期管理;企业运营管理需求,包括业务运营监控和经营 分析;数据商业化需求,指数据对外商业化,单独盈利。 图表 92:中国电信大数据市场需求分析 (来源:贵阳大数据交易所) 156 (1)网络管理和优化 1)基础设施建设的优化 利用大数据实现基站和热点的选址以及资源的分配。运营商可以通过分析话单和信令中 用户的流量在时间周期和位置特征方面的分布,对 2G、3G 的高流量区域设计 4G 基站和 WLAN 热点;同时,运营商还可以对建立评估模型对已有基站的效率和成本进行评估,发 现基站建设的资源浪费问题,如某些地区为了完成基站建设指标将基站建设在人际罕至的地 方等。 2)网络运营管理及优化 在网络运营层面,运营商通过大数据分析网络的流量、流向变化趋势,及时调整资源配 置,同时还可以分析网络日志,进行全网络优化,不断提升网络质量和网络利用率。 利用大数据技术实时采集处理网络信令数据,监控网络状况,识别价值小区和业务热点 小区,更精准的指导网络优化,实现网络、应用和用户的智能指配。由于用户群的不同,不 同小区对运营商的贡献也不同。运营商可以将小区的数据进行多维度数据综合分析,通过对 小区 VIP 用户分布,收入分布,及相关的分布模型得到不同小区的价值,再和网络质量分 析结合起来,两者叠加一起,就有可能发现某个小区价值高,但是网络覆盖需要进一步提升, 进而先设定网络优化的优先级,提高投资效率。 (2)市场与精准营销 1)客户画像 运营商基于客户终端信息、位置信息、通话行为、手机上网行为轨迹等丰富的数据,为 每个客户打上人口统计学特征、消费行为、上网行为和兴趣爱好标签,并借助数据挖掘技术 (如分类、聚类、RFM 等)进行客户分群,完善客户的 360 度画像,帮助运营商深入了解 客户行为偏好和需求特征。 2)关系链研究 运营商通过分析客户通讯录、通话行为、网络社交行以及客户资料等数据,开展交往圈 分析。尤其是利用各种联系记录形成社交网络来丰富对用户的洞察,并进一步利用图挖掘的 方法来发现各种圈子,发现圈子中的关键人员,以及识别家庭和政企客户;或者分析社交圈 子寻找营销机会。如在一个行为同质化圈子里面,如果这个圈子大多数为高流量用户,并在 这个圈子中发现异网用户,可以推测该用户也是高流量的情况,然后通过营销活动把异网高 157 流量用户引导到自己的网络上。总之,利用社交圈子提高营销效率,改进服务,低成本扩大 产品的影响力。 3)精准营销和实时营销 运营商在客户画像的基础上对客户特征的深入理解,建立客户与业务、资费套餐、终端 类型、在用网络的精准匹配,并在在推送渠道、推送时机、推送方式上满足客户的需求,实 现精准营销。如利用大数据分析用户的终端偏好和消费能力,预测用户的换机时间,尤 其 是 合约机到期时间,并捕捉用户最近的特征事件,从而预测用户购买终端的真正需求,通过短 信、呼叫中心、营业厅等多种渠道推送相关的营销信息到用户手中。 4)个性化推荐 利用客户画像信息、客户终端信息、客户行为习惯偏好等,运营商为客户提供定制化的 服务,优化产品、流量套餐和定价机制,实现个性化营销和服务,提升客户体验与感知;或 者在应用商城实现个性化推荐,在电商平台实现个性化推荐,在社交网络推荐感兴趣的好友。 (3)客户关系管理 1)客服中心优化 客服中心是运营商和客户接触较为频繁的通道,因此客服中心拥有大量的客户呼叫行为 和需求数据。利用大数据技术深入分析客服热线呼入客户的行为特征、选择路径、等候时长, 并关联客户历史接触信息、客户套餐消费情况、客户人口统计学特征、客户机型等数据,建 立客服热线智能路径模型,预测下次客户呼入的需求、投诉风险以及相应的路径和节点,这 样便可缩短客服呼入处理时间,识别投诉风险,有助于提升客服满意度;另外,通过语义分 析,对客服热线的问题进行分类,识别热点问题和客户情绪,对于发生量较大且严重的问题, 要及时预警相关部门进行优化。 2)客户关怀与客户生命周期管理 客户生命周期管理包括新客户获取、客户成长、客户成熟、客户衰退和客户离开等五个 阶段的管理。在客户获取阶段,通过算法挖掘和发现高潜客户;在客户成长阶段,通过关联 规则等算法进行交叉销售,提升客户人均消费额;在客户成熟期,通过大数据方法进行客户 分群(RFM、聚类等)并进行精准推荐,同时对不同客户实时忠诚计划;在客户衰退期, 需要进行流失预警,提前发现高流失风险客户,并作相应的客户关怀;在客户离开阶段,通 过大数据挖掘高潜回流客户。 158 (4)企业运营管理 1)业务运营监控 基于大数据分析网络、业务、用户和业务量、业务质量、终端等多个维度,为运营商监 控管道和客户运营情况。构建灵活可定制的指标模块,构建 QOE/KQI/KPI 等指标体系,以 及异动智能监控体系,从宏观到微观全方位快速准确地掌控运营及异动原因。 2)经营分析和市场监测 通过数据分析对业务和市场经营状况进行总结和分析,主要分为经营日报、周报、月报、 季报以及专题分析等。过去,这些报告都是分析师来撰写。在大数据时代,这些经营报告和 专题分析报告均可以自动化生成网页或者 app 形式,通过机器来完成。数据来源则是企业内 部的业务和用户数据,以及通过大数据手段采集的外部社交网络数据、技术和市场数据。分 析师转变为报告产品经理,制定报告框架、分析和统计维度,剩下的工作交给机器来完成。 (5)数据商业化 数据商业化指通过企业自身拥有的大数据资产进行对外商业化,获取收益。国内外运营 商的数据商业化都处于探索阶段。 1)对外提供营销洞察和精准广告投放 营销洞察:成立了精准营销部门,提供精准营销洞察、商业数据分析服务。利用大数据 为行业客户提供消费者和市场洞察,包括人口特征、行为特征以及季节性分析等方面。 精准广告投放:精准营销部门基于营销洞察,提供精准广告投放服务。当用户距离商家 很近时,就有可能收到商家提供的折扣很大的电子优惠券。 2)基于大数据监测和决策支撑服务 客流和选址:成立了动态洞察部门,开展大数据业务,为客户提供数据分析打包服务。 该部门与市场研究机构进行合作,提供智慧足迹、人流量等信息,帮助零售商分析顾客来源 和各商铺、展位的人流情况以及消费者特征和消费能力,并将洞察结果面向政企客户提供客 流分析和零售店选址服务。 公共事业服务:运营商承担公共服务项目的 IT 系统建设,比如它承建高速公路数据监 159 测项目,每天提供几百万条记录,对这些记录进行分析就能为行驶于高速公路上的车辆提供 准确及时的信息,有效提高道路通畅率。 6.7.2.3 电信大数据应用市场规模 未来,随着大数据的技术成熟和应用的推广,运营商将围绕数据标准化、精准营销、优 化用户服务体验、提高业务效率等四个方面来强化大数据的应用。可见,未来几年中,电信 大数据应用将有较大市场。据贵阳大数据交易所预测,未来电信大数据应用市场会保持快速 增长势头,2020 年将达到 114.06 亿元。 图表 93:2014-2020 年电信大数据应用市场规模及增长趋势 6.7.3 电信大数据应用案例 (1)AT&T AT&T 是美国最大的本地和长途电话公司,创建于 1877 年。2009 年,AT&T 利用全球 领先的数据分析平台、应用和服务供应商 Teradata 天睿公司的大数据解决方案,开始了向信 息运营商的转变。 在培育新型业绩增长点的过程中,AT&T 决定和星巴克开展合作,利用大数据技术收集、 分析用户的位置信息,通过客户在星巴克门店附近通话或者其他通信行为,预判消费者的购 物行为。为此,AT&T 挑选高忠诚度客户,让其了解 AT&T 与星巴克之间的这项业务,并签 署协议,将客户隐私的管理权交给客户自己。在获得允许情况下,AT&T 将这些信息服务以 160 一定金额交付给星巴克。星巴克通过对这些数据的挖掘,可以预估消费者登门消费的大概时 间段,并且预测个人用户行为,并做出个性化的推荐。此外,在 iPhone 上市伊始,为了解 iPhone 的市场反响,AT&T 还选择与 Facebook 结成战略联盟,通过对 Facebook 的非结构化 数据进行分析,发现用户对价格、移动功能、服务感知等产品指标的体验情况,从而推出更 加准确的电信捆绑服务。 (2)NTT NTT 是日本最大电信服务提供商,创立于 1976 年。它旗下的 NTTDOCOMO 是日本最 大的移动通讯运营商,也是全球最大的移动通讯运营商之一,拥有超过 6 千万的签约用户。 自 2010 年,NTTDOCOMO 利用大数据解决方案,实现了医疗资源的社会化创新,培 育了医疗信息服务增长点。面对日本社会的老龄化趋势,NTTDOCOMO 想到了通过搭建信 息服务平台,满足用户的个性化医疗需求。因此,NTTDOCOMO 和 Teradata 天睿公司进行 充分合作,利用其大数据解决方案,建立自己的资料库。通过开设 MedicalBrain 和 MD+平 台,聚合大量的医疗专业信息,网聚了大批医疗行业专业人士。这使用户和各种专业医疗和 保健服务提供商共同拥有了符合标准的、安全可靠的生命参数采集和分发平台。在这个平台 上,NTTDOCOMO 能够根据用户的以往行为洞察其个性化需求,再将这些需求反馈至对应 的医疗人员,帮助用户获得高价值的信息反馈。 (3)德国电信 德国电信是欧洲最大的电信运营商,全球第五大电信运营商。旗下 T-Systems 是全球领 先的 ICT 解决方案和服务供应商。 正是 T-Systems 将德国电信带上了大数据的发展快车道。基于拥有全球 12 万平方米数 据中心的优势,T-Systems 提出了“智能网络”的概念。通过实时获得汽车、医疗以及能源 企业的数据,T-Systems 先后开发了车载互联网导航系统、交通意外自动呼叫系统以及声控 电邮系统,以及能源网开发解决方案,实现电量的供需平衡。此外,它还通过设计安全的传 输方式和便捷的解决方案,将医生和患者对接,提供整合的医疗解决方案。 (4)中国移动 中国移动通信集团公司是中国规模最大的移动通信运营商,也是全球用户规模最大的移 161 动运营商。在中国移动实现客户数量迅猛增长的同时,相应也带来了客户投诉量的增长。 为了辨别客户投诉的真实原因、发现问题、改进产品、提升服务体验,公司基于内部模 型的客户投诉智能识别系统,以投诉内容为源头,通过智能文本分析,实现了从发现问题到 分析问题,再到解决问题以及跟踪评估的闭环管理。经过一段时间使用,仅中国移动某省级 公司,就实现全网投诉内容的智能识别:769 个投诉原因被识别,配合业务部门提出 37 个 产品优化建议,协助优化 11 个产品;优化不满意点 58 个,消除 368,295 客户的潜在不满隐 患,每年节约成本达 540 万。 6.7.4 电信大数据重点企业分析 随着大数据应用到电信行业,国内各大电信企业逐鹿电信大数据市场,由于各大电信企 业关注点、进入阶段不同,电信大数据市场将迎来大的格局变化。但由于市场的不健全、数 据处理技术的不成熟,电信大数据市场同样面临着巨大的挑战。 (1)中国移动 中国移动 2001 年就开始规划了数据仓库,在做数据仓库的过程中,主要汇集的数据是 结构化数据。2010 年开始中国移动做了一些云计算方面新技术的研究部署,中间还有一个 MPP,分布式数据库,主要是想降低成本。原来数据仓库的问题是成本比较高,在 Hadoop 的 架构上,现在基本上把有关的技术,Hadoop 上组群技术都做了尝试。 中国移动在大数据的具体研发、产业合作与对外应用方面,进行了一系列积极探索和实 践。在自主研发方面,中国移动在 2007 年启动了大云的研发计划,构建了海量存储处理和 数据分析和挖掘等核心能力。到目前为止,大云的大数据相关产品已经在 17 个省市进行了 超过 100 项应用试点和商用,部署规模超过了 3000 台服务器,在快速响应市场需求的同时 也降低了企业运营成本。 在产业合作方面,中国移动一直秉承开放共赢理念,推动云计算和大数据技术的成熟和 产业健康发展。构建大云产业联盟,与技术提供商、集成商、高等院校、政府机构等超过 50 家单位,在核心模块合作、授权技术服务、应用开发技术攻关等产业不同层面开展了合 作。移动还积极参与了国内、国际标准化和开源组织工作,在 TMF 完成了大数据报告并完 成发布,牵头完成了弹性应用计算接口等国家标准的制定。 162 另外,在大数据对内的研究探索方面,中国移动率先提出了大数据超细分微营销精服务 的理念,在客户服务、市场营销等方面,也有不少成功案例。现阶段的工作,更多集中在应 对数据规模增长和促进企业不同专业领域数据融合上面,以及不同程度的发挥数据价值。 (2)中国联通 中国联通掌握着最为优质的中国 3G 与 4G 用户,而联通的“沃指数”大数据产品体 系就是在中国联通 4 亿的用户数据基础上开发而来,基于通信网络的实时性,联通大数据不 仅仅保证了数据提供的可持续性和速度,还保证了数据的海量和多元性。 有了足够的数据样本,剩下的就是对数据合法合规地挖掘和使用,以及和合作伙伴一起 来开发相应的产品,将数据实际应用到产品中来实现精准营销。目前“沃指数”产品体系中 的“数据魔方”就是联通大数据实际挖掘分析样本,并构建模型运营的部分。 联通大数据产品的商业模式就是为企业提供市场洞察的分析、价值的评估、以及用户群 体(行为特点)的分析,从而为企业的发展提供服务。这套“沃指数”品牌下的市场洞察体 系,就是“数据魔方”。数据魔方就是一款借助联通最优质的大数据算法和模型,设计出精 准的产品,帮助企业看清其目标客户的行为特点,而从这些行为特点中,企业便可以更加清 晰的去洞察市场。 “数据魔方”是联通大数据的产品实体,它不仅能够洞察当下的行业热点,洞悉市场情 绪,高效锁定目标用户,最大化企业收益;还可以通过对客户品类市场的需求、竞品情况、 消费者整体行为或分化特点等信息,进行系统收集和综合分析,预测未来的行业发展方向和 即将爆发的领域,从而帮助客户识别并把握市场机会,降低商业决策风险,实现长期稳定的 经营与发展。 (3)中国电信 2015 年 11 月,中国电信正式发布“天翼大数据”品牌,推出精准营销、风险防控、区 域洞察、咨询报告四类数据型产品和大数据云平台型产品,重点服务于旅游、金融、广告、 政府、交通等行业。 风险防控产品基于中国电信用户标签数据,建立用户信用模型,主要服务于银行、保险、 征信、P2P 等金融机构,在贷前风险防控、贷中风险管理、贷后风险追踪等方面提供大数据 163 服务;区域洞察产品基于中国电信用户位置标签数据,为道路交通、区域人流分析、商业选 址分析、智慧城市建设、智慧旅游建设等领域提供数据服务。 中国电信拥有世界上规模最大的宽带网络和 CDMA 网络,拥有近 2 亿移动用户、超过 1.3 亿宽带用户和近 1.4 亿固话用户,以及超过百万的公共 WiFi 和数千万的家庭 WiFi。 中国电信现已建有超过上千个节点的大数据平台,每日数据汇聚量过百 TB,并具备海 量数据的实时和批量处理能力。凭借其在网络、云计算、基础设施方面的绝对优势,为各行 业、产业提供大数据共享开放平台,推动大数据产业链和生态圈的建设发展。 6.8 教育大数据应用现状分析 教育大数据是以物联网、云计算等成熟技术为基础,对各类学生数据库进行价值挖掘, 经过过程性和综合性的考量,找到学生各种行为之间的内在联系,考量背后的逻辑关系,并 作出恰当的教学决策。教育大数据是指在整个教育活动过程中所产生的,以及根据教育需要 采集到的一切用于教育发展,并可创造巨大潜在价值的数据集合。 6.8.1 教育大数据现状 6.8.1.1 教育行政部门、各类学校的教育大数据 大数据时代的教育带有“大教育”的特性,具有全员(从全日制学生到全民,面向所有人)、 全程(从学前教育到终身教育,服务各个教育阶段)、全方位(家庭、学校、社会“三位一体” 教育,无处不在的教育,虚实融合的教育)等特点。 教育大数据有四大来源:一是在教学活动过程中直接产生的数据,比如课堂教学、考试 测评、网络互动等;二是在教育管理活动中采集到的数据,比如学生的家庭信息、学生的健 康体检信息、教职工基础信息、学校基本信息、财物信息、设备资产信息等;三是在科学研 究活动中采集到的数据,比如论文发表、科研设备运行、科研材料采购与消耗等记录信息; 四是在校园生活中产生的数据,比如餐饮消费、上机上网、复印资料、健身洗浴等记录信息, 具体如下表所示。 164 图表 94:教育大数据资源统计 序号 数据源 具体内容 应用价值 1 学生数据 学生基本信息数据 姓名、性别、年龄、籍贯、爱 好、特长、习惯、家庭状况、 健康状况等 了解学生个人信息,便于 “因材施教” 学习经历数据 幼儿园、小学、中学、大学教 育经历,考试成绩、出勤记录, 其他教育培训经历 掌握学生的学习状况、学习 需求 学生行为数据 课堂注意力集中时长,对哪部 分知识更感兴趣等课堂表现 数据 分析单个学生的与课状况, 用于调整教育行为与实现 个性化教育等 2 教师数据 教师信息数据 姓名、性别、年龄、籍贯、爱 好、常用的教学方式和教学手 段 了解每位教师的教学特点, 更好地实现师生的良好匹 配度 教师行为数据 出席率,师生互动,学生哪部 分听讲程度高等教学内容反 馈数据 分析每位老师的授课情况, 根据教学效果及时调整教 学方案及策略等 3 教育管理数 据 课程数据 课程信息数据、课程资源、课 程作业、师生交互行为、课程 考核、考试测评等数据 推动课程体系与教学效果 的最优化,提供教学决策 学校教学数据 学校管理数据、课堂教学数 据、教务数据、科研数据、实 验室建设使用数据、校园安全 数据、校园生活数据等 优化教育资源配置,提升学 校教育质量 其他数据 教育云平台产生的各种行为 与结果数据、学生竞赛活动数 据以及各种社会培训与在线 教育活动数据等 推动教育信息化建设,驱动 学生个性化发展,为社会培 训机构及在线教育提供参 考 4 教育统计数 据 教育统计数据 各类教育机构数、招生数、在 校生数、各类专业就业率、学 科设置等 掌握本国的教育发展概况, 促进区域教育均衡发展,制 定科学化的国家教育政策 (来源:贵阳大数据交易所) 165 (1)重庆教育评估院 2009 年,重庆市教育评估院在教育部基础教育质量监测中心和北京师范大学“认知神经 科学与学习”国家重点实验室的帮助下,首次实施了重庆市基础教育质量监测。此后,为提 高监测效率与科学化水平,建立了重庆市基础教育质量监测数据库,将日常评价与大规模监 测相结合,自主研发了信息化监测评价平台,并逐渐形成了一套较完整的大数据采集、模型 处理、结果使用的技术和方法,促进了当地学校管理的改进与区域教育的科学发展。 (2)深圳市政府 为了更好地分配教育资源,做好科学决策,深圳市利用大数据制定了教育资源的科学动 态规划。通过分析人口流动数据、学校分布、学生年龄、公开经费等数据,运用各样数据模 型进行预测。从而判断在某学区内,未来三至四年内是否要增加学校,预测判断增加学校的 数量、类型及师资配备情况。 (3)清华大学 清华大学采用 SiteView、Cati 等专业的监控系统,实时采集所有设备的在线情况、工作 状态、运行情况、故障情况、报警状态等数据,综合相关报表,进行智能分析,提出预警报 告。通过监控系统的智能运维服务,可以实现多项功能:一是设备智能管控,二是故障及时 检测,三是各种硬件设施的智能管理,四是异常情况预警通知和远程维护。 (4)东华大学 东华大学将大数据引入实验室管理系统中,成功解决了实验室管理效率低下的问题。学 生进入哪间实验室,哪个学生使用了哪台仪器设备及使用时间等使用情况都能记录下来,所 有仪器的电流、电压也都可以监控。之后想要的数据由电信号直接产生,自动计算出来并形 成表格,实验室利用率等情况在表格上一目了然。从表格就可以看出,哪些实验室申请的设 备根本不必购买,哪些实验室不再需要拨钱。实验室的使用率和第二年的经费完全挂钩,最 后实现教育经费使用的集约高效。 (5)东吴大学 台湾东吴大学采用达索系统 EXALEAD 大数据智能应用开发解决方案,全方位地整合 校务信息,积极开发校务经营发展的各项应用。此外还将启动三方产学合作计划,协助建立 校内大数据相关课程、人才培训和实习机制,使学生自入学就开始不断提升其未来职场所需 166 的关键竞争力,学用合一,实现学校、学生、企业三赢。 6.8.1.2 在线教育企业的教育大数据 (1)学堂在线 学堂在线注重探索基于大数据的用户学习行为分析方法,关注实现个性化推荐和基于社 区的互助学习。学堂在线的大数据服务模块提供专业、实时的教学数据分析。运用大数据技 术,可以看到当前网络用户的学习活跃度,分获得用户的学习进度,对影响学习进度的因素 进行分析研究,了解所有慕课课程的开课次数,对课程热度和健康度进行分析,确保学生获 得良好的学习体验。学堂在线还利用大数据来指导助教工作,分析助教的学习辅导行为,为 促进学习者调整自身学习行为、教育管理者调整教学方案提供依据。 (2)学大教育 2014 年 3 月,学大教育推出 e 学大平台,借助大数据在教育过程中形成完整闭环。在 e 学大平台,经过大数据分析后形成的学习资源和课程内容能够适应每个学生的差异,同时学 生可以按照自己的节奏来控制学习进度。完成学习后,平台会给教师分析反馈,老师会针对 性的为学生解惑,并提供下一步的有效指导,实现学生发展的多元化全面评估。在大数据的 支持下,学大教育平台能够为每一位学生创设量身定做的学习环境和个性化课程,进行定向 “靶标式”推送。 (3)百度教育 2015 年 5 月,百度依靠大数据推出针对高考的力作——“觅题”APP。觅题整合了百 度在教育领域及百度文库的庞大数据与优秀教师资源,结合百度机器深度学习,以考题预测 解析、考点智能推荐为核心,实现学生聪明做题,快速提分。推出“考点预测”功能,根据近 5 年高考真题、模拟题及 2015 年各地最新模拟测试题,综合分析此考点出题频次、卷面分 数及考点热度等数据,进而预测下一年高考该考点的出现概率。通过对历年高考数据的挖掘 与分析,辅助学生智慧择校,包括专业的选择、分数的预测、职业的选择等等。 167 图表 95:百度大数据辅助高考预测 (来源:贵阳大数据交易所) (4)猿题库 基于题库数据,猿题库为学生提供智能分析平台;其大力开发的答题 App“菁优数学” 主要功能是,为中小学数学试题在线搜索、解析,希望利用大数据呈现出精准试题结果,实 现个性化的推荐。 2014 年,教育部制定了《国家教育管理信息系统建设总体方案》,提出首要任务就是建 立全国教育基础数据库,以支持教育事业更快、更好、更科学的发展。2015 年 9 月国务院 发布《促进大数据发展行动纲要》,提出了我国大数据发展的顶层设计,是指导我国未来大 数据发展的纲领性文件,为未来大数据技术的发展及广泛运用提供了行动指南。随着政府、 企业、教育机构、广大民众的数据意识日渐提高,政府部门开始布局教育大数据基础设施的 建设,在线教育市场中的一些企业也着力于教育数据产品和服务的研发与推广,教育领域大 数据发展应用的广阔前景正逐步展开,我国对教育大数据的管理与应用也步入实质性发展阶 段。 6.8.2 教育大数据应用市场规模 6.8.2.1 教育大数据的应用价值 教育大数据是一种无形的资产,是一座可无限开采的“金矿”,充分的挖掘与应用是实现 168 数据资产增值的唯一途径。从繁杂的教育数据中发现相关关系、诊断现存问题、预测发展趋 势,发挥教育大数据重要的应用价值。主要表现在:辅助教育科学决策、促进教育均衡发展、 提升教育质量、实现个性化学习、教育产品营销、推动在线教育等方面。 (1)推动国家教育政策科学化 传统教育数据的采集渠道和数量是非常有限的,仅能通过简单的统计分析反映某个时间 段国家教育发展的局部状况,数据的预测价值难以发挥,无法为国家教育政策的制定提供科 学支撑。大数据技术具有数据海量化、途径多元化、挖掘深度化等优势,能够发现多种教育 数据之间以及与其他社会行业数据之间的内在联系,有助于构建更加系统化的教育发展模型, 推动国家教育政策制定与调整的科学化。此外,基于数据的教育决策能够增强广大民众对教 育政策的理解和支持。 (2)推动区域教育均衡发展 区域教育均衡发展是我国教育事业面临的重大问题。通过大数据技术的应用,可以准确 把握区域教育发展动态,并掌握影响其均衡发展的关键因素,从而可以从教育环境均衡、教 育资源均衡、教育机会均等、教育质量均衡等方面全面推进区域教育的均衡发展。此外,不 同区域有自己不同的教育现状,在大数据背景下不仅可以缩小区域间的教育差距,而且有助 于不同区域根据自身环境条件、经济状况以及发展需要形成各具特色的区域教育发展路径。 (3)促进学校教育质量提升 通过应用大数据技术对海量教学数据进行分析与预测,将改变传统千篇一律的教学模式, 有利于真正实现个性化教育。以翻转课堂、MOOCs 等为代表的新型教学模式的成功开展, 离不开大数据的支持。通过对学生学习历程记录的分析,教师能够快速、准确掌握每位学生 的兴趣点、知识缺陷等,从而为设计更加灵活多样、更具针对性的学习活动提供数据支持。 同样,利用大数据技术还可以对教师进行全面考核,跟踪教师成长过程。运用回归分析、关 联规则挖掘等方法帮助教师分析教学方法和手段的有效性,使教师及时调整教学方案,优化 教学方法,提高教学质量。 (4)驱动个体的个性化发展 在大数据的支持下,教师能够更有效地关注每个学生个体,记录每个学生的学习轨迹, 169 分析每个学生的学习行为、预测其学习结果、诊断其学习需求与问题,开展真正的因材施教。 教师逐步由教学者转变为帮助每位学生个性化学习与发展的指导者。传统的学习管理系统将 升级为智慧学习平台,能够持续采集学习者的学习行为数据,并进行智能分析,依据学习者 模型推送适合的学习资源,准确诊断、评价学习过程与结果,反馈给学习者最适合的学习建 议,实现每位学生的个性化发展。 (5)教育产品精准营销 大部分教育机构停留在传统的营销模式上,如 EDM,发传单,满大街挂广告牌等。过 于同质化的营销模式,造成普通大众麻木无感,广告效果差。相反,在大数据技术支持下, 对已报名学员以及潜在学员进行数据挖掘分析,根据他们以及家长的关注点,勾勒出潜在学 员画像,同时定制出具有针对性且有创意的营销方案,使其达到一站式精准化营销,从而准 确触达用户的需求点。 (6)推动在线教育变革 大数据给在线教育教学实践带来了新思维、新视角、新技术、新方法。利用大数据本身 的价值资源,通过技术创新,让大数据可视化全面应用于在线教育领域,促进学员、教师、 教学管理者全方位互动与了解,真正让在线教育实现新突破。 大数据可以促进学员进行知识探究、内化,甚至自我评估;就老师而言,大数据科技提 供教育发展动向,优化教学环节,避免传统的“满堂灌”、“填鸭式”教学,让学生构建课程的 知识体系结构图,从而使教学生动有趣,使学生学有所获;从教学管理者角度来看,大数据 可以提高在线教育交互平台管理能力,通过对大数据分析,及时掌握学生学习动态,进而对 学习成绩有“危险”的学生进行有针对性的教育和管理。 6.8.2.2 需求分析 教育领域大数据的需求较为宽泛,在这里我们将从体制内与体制外两个角度加以阐述。 (1)体制内教育大数据的需求分析 因其体制特性,体制内大数据较少,基础数据匮乏。体制内的数据模式主要有国家教育 统计年鉴、各地市州的教育局、各个高校以及国家教育研究机构的数据等。数据特征为活性 170 差、时间、粒度粗、运用少、体系不通,数据孤岛严重。现有的数据并不是“学习”数据,而 是“教学”管理数据。在这个领域的数据,既无法保持“在线共享”,又缺少“活性应用”,更多 的目的是给领导做报告以及教育部里做“规划”,很少有其他直接提升教学本身应用的有效数 据。目前来看,其应用需求的探索主要表现在以下方面: 一是中小学生学籍卡管理系统。通过该系统,学生的入学、转学、休学、退学等教育管 理数据,统一纳入学籍管理,实现全面、实时的采集、监控、更新与分析处理。同时教育管 理数据还可以与家庭收入、户籍、医疗、保险、交通等数据进行关联分析,有助于及早发现 与预测学困生、择校生等需要进行教育帮助和干预的学生,进而提供针对性的教育支持服务。 二是学生管理与发展预警。通过对学校管理数据、学生校园生活数据的分析利用,可以 推动实现学校资产管理预警、餐饮预警、学生异常行为、就业预警等。当然,最广泛的需求 依然是课程学习的预警。即采集大量学生课程学习的过程性数据,通过一套预测算法分析学 生课程学习成功的概率,判断学生的兴趣点、知识基础、学习偏好、学习难点等,对学习困 难、有退学风险的学进行及时的干预,并给予针对性的帮助、指导和反馈,从而显著提高课 程学习的成功率。 三是教学评估软件及学校分析平台的建设需求。通过收集学习表现、行为表现、性格发 展等学生大数据,帮助学校的教师和领导更好地掌握、分析以及分享学生表现。最终帮助老 师了解学生,调整教学方案,推动学校实现系统化教学。 (2)体制外教育大数据的需求分析 相较之下,体制外的教育产业在大数据的应用上拥有更为广阔的市场空间。我们可以从 大数据应用流程、市场细分两个维度来分别阐述其市场需求。 应用流程为数据收集、数据分析、数据呈现三个阶段。数据收集方面的需求主要表现在 终端设备的应用、智慧教室、电子书包/电子教材、电子题库/自适应诊断应用等方面;数据 分析的需求主要表现在学习分析学、机器学习技术、文本语义技术等几方面;大数据聚类数 据的呈现方面的需求主要表现为学生评价体系、练习、考试三方面。 从市场细分的角度,可以划分为幼教、K12、高等教育、职业教育、中介性教育。①在 幼教阶段主要表现为家长与学校的互动需求。通过大数据分析,建立幼儿园、亲子中心,打 171 造优秀的家园互动产品等。②K12 教育阶段主要表现为课外辅导和培训。通过对学生学习难 点、学习状态、在线学习时间等数据的分析,帮助学员制定学习计划和培训方案,实现线上 线下教育的无缝对接,开发符合师生需求的在线教育 APP。③高等教育方面的需求表现为 教育资源的远程化、MOOC(慕课)化。慕课将网络教育和大数据思维融合到了一起,名校、 名师、精品和免费的课程得以实现,推动优秀的人才向最优秀的教学资源聚集。④职业教育 领域大数据的市场需求表现为贯通、定制化,主要是用来辅助用人单位定制化管理教学;⑤ 中介性质教育如留学中介业务,通过整合多源数据,进行留学人群分析及预测,搭建一站式 留学服务数据平台。 6.8.2.3 教育大数据应用市场规模 随着技术的发展,大数据在教育领域有了越来越广泛的应用。合理应用教育大数据,不 但可以进一步改善教学的方式与方法,利于学生学习成绩的提高,而且能促进教育产业创新, 推动教育产业的发展。2016 年,教育大数据的应用市场规模呈指数级增长,到 2020 年将达 到上百亿的规模。 图表 96:2014-2020 年教育大数据应用市场规模及增长趋势 6.8.3 教育大数据应用案例 (1)学堂在线——高等教育的“私人定制” 2013 年 10 月,清华大学推出第一个中文 MOOC 平台“学堂在线”。随着“学堂在线” 的正式发布,国内名校的“围墙”开始拆除,学生可以通过网络学习世界知名高校的精品课 172 程。目前,学堂在线共推出 504 门慕课课程,网站注册人数为 134 万,选课总人数 284 万, 选课人次 267 万。 学堂在线注重探索基于大数据的用户学习行为分析方法,关注实现个性化推荐和基于社 区的互助学习。学堂在线平台分为在线学习系统和课程管理系统两部分。学生通过注册登录 可自由选课、听课和社区讨论,系统会根据听课进度给出练习题目及评分;教师则可通过系 统上传上课视频、添加教学资料及练习题,并通过大数据分析平台及时查看教学反馈情况。 图表 97:“学堂在线”大数据分析服务图 (来源:贵阳大数据交易所) 学堂在线的大数据服务模块提供专业、实时的教学数据分析。运用大数据技术,可以看 到当前网络用户的学习活跃度,分析学习用户的学习习惯和学习热情;获得用户的学习进度, 对影响学习进度的因素进行分析研究,从而提出指导。通过大数据技术,可以了解所有慕课 课程的开课次数,对课程热度和健康度进行分析。对无人选择或较少的课程分析原因,改变 教师讲课方式,优化课程设计或考虑取消。对于选择过多的课程,也要进行合理化地调整, 或多配置助教或增加开课次数,确保课程开设合理,学生能获得良好的学习体验。 学堂在线的大数据服务还提供了助教考核和学生互动讨论的分析功能。利用大数据来指 导助教工作,分析助教的学习辅导行为。学习者的学习行为不仅体现在课程选择和平台选择 173 的个性化,还体现在课程内容的学习行为以及讨论交互的行为。利用大数据技术,对海量的 学习者讨论交互行为数据进行挖掘,经过高效的聚类、分类分析等,反馈给学习者和教学者, 为促进学习者调整自身学习行为、教育管理者调整教学方案提供依据。 未来,学堂在线平台将根据师生测试反馈不断修正和完善平台已有功能,为更多课程和 更多用户进入学堂在线平台做好技术准备;另一方面,也将进一步研制基于“学习大数据” 的个性化服务、基于社交网络的互动学习机制、智能问答系统、作文自动评分系统、智能移 动客户端等等特色功能模块,全面推进运用大数据分析学习者学习行为,为高等教育学习者 提供教育领域的“私人定制”。 (2)Kickboard 建立数据分析“仪表板”,改善学校教育质量 美国新奥尔良市教师 JenniferMedbery 于 2009 年创立了 Kickboard。Kickboard 为学校的 老师和领导提供了一个数据分析平台,该平台能够全面跟踪、分析以及分享学生的“表现” 数据。教师通过 Email 登录这个全天性开放的平台,记录学生的过失情况、作业完成情况、 课堂表现以及其他的行为表现、性格发展数据等等。它能帮助教师更好地了解学生,改进自 己的教学方案,而且还可以把这些数据分享给其他的授课教师,学生、学生家长以及学校领 导对学生的在校表现情况能够有一个全面的清晰的认识。Kickboard 以图表的形式让教师可 以更直观地发现每个学生在各方面的表现,既能促进学生的发展,又可以改进教学方法。具 体实施如下: 利用数据改善学校文化。Kickboard 提供的数据搜集分析和分享平台,帮助建立起更加 透明的学校氛围、提高学生成绩、增加家长的参与度。Kickboard 在提供平台的基础上,进 一步提供个性化的指导服务,与教育者们一起通过数据找到问题,然后制定合理的学校改善 计划、将数据分析纳入学校现有的体系中最终建立起一种高质量的学校文化。对于教师,通 过数据能够更加全面的认识学生,从而改善自己的教学;对于校长,能够更有针对性地培养 教师,并且使得整个学校的教学更加系统化;对于家长能够获得定期详细的报告,融入孩子 们的教育过程。 利用数据管理课堂氛围。课堂管理对于学生成绩的影响是最大的。通过 Kickboard 数据 平台,教师们可以设置学习目标和行为准则来管理课堂,数据分析也能找到课堂管理的最好 方法。另外,Kickboard 利用大数据,实现教师在一个控制平台上收集、分析和分享学生信 174 息,减少了在各种文档和数据库之间的转换。而学生数据让教师们更全面地了解学生,根据 学生现有水平和爱好让课堂变得更加有趣和吸引人。除了针对个别同学的弱势学科和成长空 间进行数据分析之外,Kickboard 同时也提供了一套工具来帮助学生了解学校和班级的文化, 不仅提高了课堂管理水平,也有利于学生未来的发展。 利用数据调控教学进程。Kickboard 的设计是以教师为中心的,彩色的仪表盘使得学生 数据变得非常容易理解。实时而全面的数据让教师可以调整自己的教学方案,帮助学生提高 学习和行为表现。教师们很快就能知道学生们的强项和不足,知道哪些知识点需要进一步的 讲解。学校的领导也能根据数据报告了解老师的教学情况,知道老师的长处和短处,有针对 性地安排教师培训。 (3)“希维塔斯学习”帮助提高学生成绩 “希维塔斯学习”是一家专门聚焦于运用预测性分析、机器学习从而提高学生成绩的年 轻公司。该公司在高等教育领域建立起最大的跨校学习数据库。通过这些海量数据,能够看 到学生的分数、出勤率、辍学率和保留率的主要趋势。通过使用 100 多万名学生的相关记录 和 700 万个课程记录,这家公司的软件能够让用户探测性地知道导致辍学和学习成绩表现不 良的警告性信号。此外,还允许用户发现那些导致无谓消耗的特定课程,并且看出哪些资源 和干预是最成功的。迄今为止,公司已经与二十多所高校签订了合作协议,为他们提供大数 据分析软件、技术和指导。 “希维塔斯学习”基于云的智能手机第三方应用程序(APP)都是用户友好型的,能够 根据高校的需要个性化设置。这意味着高校能聚焦于各自不同的对象,相互不同地用这家公 司的分析工具开展大数据工作。 斯特雷耶大学利用“希维塔斯学习”的产品测量教员对学生学习投入的影响。为此,斯 特雷耶大学创造了一个通知教员的“即时仪器”。这个即时仪器可以随着课程的进展评估学 生在学习参与上的变化,包括学生的课堂表现、作业表现、师生互动情况等,从而使学生在 每一门课程上都能获得一个学习投入的分数。 此外,该即时仪器还能监督教师的教学进度。如果教师在促使他们的学生进步上与同事 相比落后了,斯特雷耶大学就会出手帮助这些教师,让他们的日常教学更好地为学生的学习 投入和发展服务。例如,学校用个人化的消息联系每一位教师,并且每周都给所有教师发三 四条帮助学生进步的电子邮件。 175 作为一家创新性企业,希维塔斯学习公司利用云计算、大数据等技术把学生在线的、课 堂中的甚至课外的活动和所作所为记录在案成为大数据,通过对数据的挖掘清洗,让高校收 集和分析学生的学业成绩和行为的细节信息成为可能。 6.8.4 教育大数据重点企业分析 在教育领域,从事互联网教育及教育信息化的公司是大数据应用的“先锋军”。他们以 其领先的科技意识、技术和产品优势,着手大数据研究,以大数据来指导教师教学、学生学 习、考试预测等。如百度旗下的百度教育、新东方、中科曙光、科大讯飞、学大教育等。 (1)新东方 新东方创办于 1993 年,专注教育培训,从早教到成人累积学员超过 2000 万。业务涵盖 早教、学前、中小学、大学考试、留学咨询、国际游学、网络课堂等,旨在为学员提供一站 式终身学习服务。2010 年底,新东方全面推出新东方网,引入大数据技术,深度挖掘消费 者的需求点和痛点,有针对性地进行产品设计,提供最完美的解决方案。 新东方的大数据应用涉及范围广泛:在语言培训领域,基于大数据开发雅思互动学习平 台,建设中国英语学习者语料库;在留学服务上,以专业的数据、独特的见解和精准分析透 视当前中国留学现状,解读当前留学申请趋势,为学生未来职业规划提供参考;整合课程和 产品数据,建立数据模型,针对性地进行产品设计,开展线上线下相融合的“混合式教学” 模式。 (2)科大讯飞 科大讯飞股份有限公司成立于 1999 年,是一家专业从事智能语音及语言技术、人工智 能技术研究、软件及芯片产品开发、语音信息服务及电子政务系统集成的国家级骨干软件企 业。随着公司业务的快速发展,科大讯飞已经拥有较大的用户规模和大量数据资源,形成了 发展大数据业务得天独厚的优势。在此背景下,公司积极推进大数据业务分析市场,构建起 大数据分析平台。 2016 年 3 月,在全国“两会”上,公司董事长提出建立国家教育大数据,促进师生个 性化教学,提升教育质量的建议。2016 年 5 月,贵州省教育厅与科大讯飞签署教育信息化 战略合作协议,推进贵州省教育信息化发展进程,建立以学习者为中心的“教、学、考、评、 管”多维应用系统。根据协议,双方将合作建设贵州省智学教育云质量提升工程;构建教学 质量监测与分析的新常态;开展以大数据为基础的发展性评价、教学分析和资源应用,为提 176 高全省教育教学质量提供有效支持。此外,双方还将合作打造全国“大数据+”智慧教育建 设示范区。建设一批创新型教育信息化应用服务示范区,包括课堂教学、智慧校园、标准化 考试系统及教育资源管理与服务系统,将贵州教育打造成全国一流的“大数据+”智慧教育 示范区。 (3)中科曙光 曙光信息产业股份有限公司是国内高性能计算领域的领军企业,亚洲第一大高性能计算 机厂商,2009-2014 年连续 6 年蝉联中国高性能计算机 TOP100 排行榜市场份额第一。曙光 的硬件产品、解决方案、云计算服务已被广泛应用于政府、能源、互联网、教育、气象、医 疗及公共事业等社会各个领域。 2016 年 5 月,为聚焦国家大数据战略,汇聚创新要素,深化产教融合发展机制,推动 教育变革,提升教育价值,增强高校主动服务产业的转型升级能力,中华人民共和国教育部 与中科曙光联合开展“数据中国--产教融合促进计划”。 由教育部统筹,教育部规划司具体指导,曙光教育合作中心具体实施“数据中国--产教 融合促进计划”百校工程,即在全国范围内遴选百所高校,部署集人才培养、科研支撑、行 业应用及社会服务一体的“曙光大数据应用创新中心”设立“曙光大数据学院”,发挥曙光 人才、技术、数据资源的优势,加快培养符合大数据行业发展所需的技术人才,并在此基础 上构建对于提升数据科学水平、保障数据安全、促进数据产业发展的“大数据应用协同创新 网络”,聚焦大数据关键技术和若干国家重点行业的大数据应用,开展协同创新,为教育及 其它行业提供全方位的数据服务。 (4)学大教育 学大教育集团(NYSE:XUE)创立于 2001 年 9 月,一直以来专注于利用优质的教育 资源和先进的信息技术,服务于中国教育服务领域,是目前国内个性化教育的领导者。2014 年 3 月,学大教育推出 e 学大平台,借助大数据在教育过程中形成完整闭环。在 e 学大平台, 经过大数据分析后形成的学习资源和课程内容能够适应每个学生的差异,同时学生可以按照 自己的节奏来控制学习进度。完成学习后,平台会给教师分析反馈,老师会针对性的为学生 解惑,并提供下一步的有效指导。在大数据的支持下,e 学大平台能够为每一位学生创设量 身定做的学习环境和个性化课程,进行定向“靶标式”推送。 2015 年 2 月,学大与百度作业帮(现名小船出海)开启战略合作,实现大数据领域的 “双剑合璧”。两家公司优势互补,从前期的数据采集、模型构建到后期的数据分析、数据 177 解读、输出个性化报告等环节相互贯通,立体式挖掘教育领域的大数据潜力。 (5)华图教育 华图教育创办于 2001 年,历经十余年的发展,现已成为集面授培训、在线教育、政府 咨询及公共管理服务于一体的综合性教育培训企业。2014 年 1 月,“华图服务数据处理中心” 在天津经济技术开发区奠基成立。华图将整合旗下互联网培训资源,建立全新的互联网培训 体系,以覆盖全国范围的直属分支机构为依托,以科学完善的数据测量指标体系为依据,配 合滨海新区完成大范围的数据调查,为政府决策提供数据支持,助推大数据等现代服务产业 发展。 华图数据中心利用云计算等先进的技术,把所有培训业务数据、调研业务数据、咨询业 务数据录入进来,进行整理加工和筛分,建成后会非常清楚地展示出各个企业、政府和社会 阶层培训状况,有助于终身学习体系的建立。此外,华图教育存储了大量的培训和咨询数据, 将数据导入处理中心并进行科学整理和技术分析,对于提升当地政府和企业的管理做出科学 的决策大有裨益。 6.9 交通大数据应用现状分析 交通大数据是指大数据技术在交通领域内的应用,是通过多种设备、技术采集海量交通 数据,结合大数据分析、挖掘等多种技术衍生而来的相关产业。智能交通发展至今,各地采 集的数据浩如烟海,存在巨大的潜力和价值,亟待处理和挖掘。不容置疑,随着大数据时代 的到来,智能交通也必然会产生重大变化,也将面临重要的发展机遇,智能交通产业发展也 将迎来新的机遇。大数据技术能够应用于交通数据的实时采集、存储、分析、分类、查询, 能够精确地分析、预测交通状况,并对影响交通的潜在因素产生洞察。 6.9.1 交通大数据现状 交通大数据也是大数据的一种,它具备一般大数据的“4V”(规模大、种类多、价值密 度低、速度快)特点。同时交通大数据也属于城市大数据的一种,其还具有时空移动性(时 空变化并蕴涵规律)、社会关联性(三元空间分布但彼此关联)、人的参与性(来源于人且 服务于人)等特点。我国交通大数据大部分掌握在政府交管部门手中,随着各种地图软件和 交通运输信息化企业的兴起,掌握在企业手中的交通数据也逐渐积累,并产生巨大价值。根 据交通大数据的产生可分为政府交通大数据和企业交通大数据。 178 图表 98:交通大数据应用领域示意图 (来源:贵阳大数据交易所) 6.9.1.1 政府交通大数据现状 我国交通运输管理主体分散在不同主管部门(如交通运输部、公安部、国家铁路局、国 家民航局等等),每个部门都有建设有采集交通信息的各种系统。 (1)交通运输部门:国家路网监控中心、营运车辆监控平台 2015 年 9 月国家路网监控中心完成全国除西藏、海南之外所有省份的全国高速公路不 停车收费系统(ETC)联网运行,截止 2016 年 3 月,全国 ETC 联网运行半年,ETC 用户已 突破 3200 万,跨省通行交易量高达 1.2 亿笔。ETC 用户数量较 2015 年 9 月增长 820 万,月 均增加 137 万,增长率高达 35%;同时,2016 年一季度跨省交易量环比上季度增长 28%。 除 ETC 系统外,高速公路还建有交通信息采集、交通气象采集、交通监控等系统这些系统 每天产生大量的运行数据,可以用来建立完善周到的客户服务体系,利用这些大数据可以推 出微信、微博、手机客户端、智能终端等应用,充分发挥交通大数据的积极作用,为广大 ETC 及高速公路其他用户提供多元化服务。 同时交通运输部还建有全国主要营运车辆运行监控平台,对全国 130 万出租车、一线主 要城市公交车 50 余万量、长途大巴、危险货物运输车辆等车辆进行实时监控,这些系统同 样每天产出海量的运行数据。 179 (2)公安交通管理部门:交通指挥控制中心、多地试点电子车牌 各地公安交通管理部门建立了功能相对完善的交通指挥控制中心,包括交通信息采集系 统、交通信号控制系统、道路交通监控系统、交通诱导显示系统、停车管理系统、交通违章 处理系统等。初步实现了交通信号控制、道路监控、交通信息综合查询、有/无线指挥调度 及交通诱导等基础功能。 各种信息采集技术如微波采集技术、视频采集技术、环形线圈感应式采集技术等被广泛 地运用于交通数据采集。因此,公安交管部门不仅具备了交通基础信息,还拥有了各类动态 数据,如车辆实时营运信息、道路交通状况等。采集的数据类型包括属性数据、空间数据、 影像数据等。对交通三要素人流、车辆、道路连续不断采集的多源交通数据流产生了巨量的 交通数据,具有典型的“3V”特性,大容量、多样性、高速度,也具有价值、复杂性的特 点属于名符其实的交通“大数据”。仅以国内某城市内道路卡口数据为例,每天达到 15GB 的数据量。 2015 年以来,我国汽车电子标识(俗称电子车牌)推广应用试点工作加快。2015 年 1 月,无锡试点工作启动,宣布首批发放 10 万张;2015 年 4 月 7 日,深圳市公安局交通警察 局宣布,深圳将试点安装汽车电子标识,首批 20 万张将陆续安装。2016 年 3 月 10 日,珠 海将给在册的 45 万辆汽车安装汽车电子识别标签,首批 5 万辆已完成。 对道路交通大数据的实时挖掘应用,能有效缓解交通拥堵,并快速响应突发状况,为个 性化的公众信息服务、城市交通的良性运转提供科学的决策依据。 (3)国家铁路局:铁路综合监控系统 铁路综合监控系统建设有涵盖了运行管理、供电管理、防灾减灾等系统,并将相关的功 能集成在一起,实现铁路运营各个系统的综合监控,实时掌握各个业务系统的工作状态,为 相关部门提供决策支持,保障运营任务的顺利进行。 由于铁路安全、特别是高铁安全相关信息资源是异域、异构、自治体分布以及海量的, 同时具有时空特征、属性特征及动态特征,需要应用到大数据集成、融合和挖掘的理论与方 法,以全面解决具有多语义性、多层次性、多时空性、多尺度性的海量、异域、异构大数据 间的融合、集成和知识发现,为管理人员提供决策支持。 180 (4)贵阳市交通大数据孵化器 2015 年 9 月 28 日,贵阳市举行新闻发布会,宣布贵阳市交通大数据孵化器正式开通, 贵阳市公安交通管理局将在该平台上开放近 2000GB 数据,创客可在创业初期通过交通大数 据孵化器免费获取数据和云计算资源。作为国内首创的由政府部门建立、以免费提供计算资 源和数据资源的方式开放交通大数据的平台,贵阳市交通大数据孵化器创新数据开放、交易、 应用的模式,并创新产业孵化方式,将对引领数据开放、助力创业创新、提升交通服务能力、 聚集数据产业和挖掘数据多元价值起到积极影响。 6.9.1.2 企业交通大数据现状 目前拥有交通大数据的企业还处在业务探索阶段,尚未形成明显的市场竞争格局。2015 年,互联网巨头继续加快在智能交通市场跑马圈地的速度,纷纷布局车联网、大数据市场。 企业交通大数据根据其获得渠道,大体可以分为如下几个方面:交通运输企业、GPS 位置 服务企业、互联网企业(例如百度推出的 CarNet、苹 果 的 CarPlay、微 软 的 Windows in the Car 等)、电子地图企业、视频服务企业等。当前,将大数据技术应用在智能交通领域发展态势 较好的企业有海康威视、世纪高通、高德地图等等。 6.9.2 交通大数据应用市场规模 6.9.2.1 交通大数据应用市场规模 大数据技术的应用,不仅将“先知”逐渐变成现实,更建立起车、路、人之间的网络, 为群众提供服务,使得交通更加智能、精细和人性;对管理者而言服务,可提高决策和管理 能力。在各城市建设智慧交通的过程中,将产生越来越多的视频监控、卡口电警、路况信息、 管控信息、营运信息、GPS 定位信息、RFID 识别信息等数据,每天产生的数据量可以达到 PB 级别,并且呈现指数级增长。基于交通数据资源互联共享、标准统一的原则,构建完备 或准完备网络化交通信息环境,实现跨区域、跨模式的大范围出行调控、网络化诱导的协同 联动控制。以互通的交通信息平台为基础,形成城际公路、铁路、民航等交通系统的协调运 行体系,强化交通运营管理的整体性功能,通过多个交通部门的相互配合,实现步调一致的 协同管理,为交通运行高效有序、居民出行安全便捷提供更有力的保障。在智能交通与智慧 城市建设的背景下,2014 年交通大数据应用市场规模已经突破 3 亿元,预计到 2020 年将超 过 120 亿元。 181 图表 99:2014 -2020 年交通大数据应用市场规模及增长趋势 6.9.2.2 交通大数据的应用价值 随着交通系统信息化程度的加深,以及各种路侧和车载智能传感器的普及,大量包括道 路、公交、轨道交通、出租汽车、航空、铁路、航运等信息的数据得以产生并被存储下来, 可在构建实时、准确、高效的综合交通运输管理系统发挥巨大作用。交通基础设施的建设和 运营涉及大量工程和多个环节,而大数据技术能够对海量信息进行分析,有助于提升交通运 行效率,降低社会成本。在实时监控交通动态的基础上,利用大数据预测模型,可以解决交 通受行政区域限制的问题、促进传统交通管理模式变革、合理配置交通资源、提升交通预测 能力、创造数据交易价值。 图表 100:交通领域大数据应用 (来源:贵阳大数据交易所) 182 (1)解决行政区域限制问题 行政区域的划分是中国为了有效统治和管理各个区域的一种措施,这种措施导致各个地 方政府为达到各自管辖区域利益的最大化,使交通数据处于碎片化、割裂化状态。而交通大 数据的虚拟性,有利于实现信息跨越区域管理。 (2)促进传统交通管理模式变革 交通大数据可以促进传统交通管理模式的变革,提高公共安全管理和社会服务管理水平。 高效的大数据分析技术能实现交通管理系统跨区域、跨部门整合,进而可以实现以下价值: 提高交通运行效率,大数据技术能提高交通运营效率、道路网的通行能力、设施效率和调控 交通需求分析;提高交通安全水平,大数据技术的实时性和可预测性则有助于提高交通安全 系统的数据处理能力;提供环境监测方式,大数据技术在减轻道路交通堵塞、降低汽车运输 对环境的影响等方面有重要的作用;提高交通管理服务水平,管理模式的改变可以使得大量 管理人员从繁重的交通指挥中解脱出来,从而服务水平又能显著提升。 (3)合理配置交通资源 传统的交通管理主要依靠人工方式进行规划和管理,难以实现交通动态化管理。通过对 交通大数据分析,可以辅助交通管理制定出合理的解决方案。一方面可以减少交通部门运营 的人力物力成本,另一方面可以提升交通数据信息的合理利用。还能有效利用其预见性的特 点,为交通管理决策层提供数据参考,做出合理的交通规划。例如基于地理位置信息的 GIS 地图服务,结合地图规划最佳出行路线。 企业可通过与政府部门合作,利用技术手段提供交通管理解决方案。进而提升交通案件 侦破能力,增强交通警察对机动车辆的监管能力,便捷利用关联车辆的分析数据。 (4)提升交通预测能力 通过大数据技术对各个交通部门数据进行准确提炼和构建预测模型后,可以对交通未来 运行状态有效模拟;在交通实时预测领域,大数据快速处理信息能力,对于车辆碰撞、车辆 换道、驾驶员行为状态检测等有较高的预测性。 出租车、物流企业可以借助交通数据,由其车队调度中心根据实时交通状况数据,规划 最佳行车轨迹,减少重复空驶、避开交通拥堵。 183 (5)创造数据交易价值 交通大数据可直接作为商品被打包出售获得价值,也可通过租赁给广告商等产生附加价 值。如只要购买包含车辆型号、新旧程度的信息,广告商就可以判断车流量大小、驾驶者的 富裕程度从而选择在一定区域内投放奢侈品或者高级楼盘广告;零售、快餐、商铺等也可优 化自己的广告受众顾客群;或者是根据此数据选择人流量更多、更大的大型商场等进行产品 宣传。 6.9.2.3 需求分析 中国大部分城市交通管理呈现出条块分割现象,数据信息通常存在于垂直业务和单一应 用中,造成交通管理的碎片化,如交通信息分散、信息内容单一等问题。而大数据具有信息 集成优势和组合效率,有利于数据的同步采集和分析处理。随着智慧交通传感器的引入,数 据规模从过去的 TB 级爆发性增长到 PB 级,由此带来对海量数据的存储与计算的挑战,迫 切需要寻求新的处理技术和手段。同时,交通领域对海量的图像和视频数据的实时处理分析 也提出很高的要求。 交通大数据产业发展需求分析: (1)针对交通规划、综合交通决策、跨部门协同管理、个性化的公众信息服务等需求, 建设全方位交通大数据服务平台。 (2)整合多源交通大数据,逐步建设交通大数据库,提供道路交通状况判别及预测。 辅助交通决策管理,支撑智慧出行服务,加快交通大数据服务创新。 (3)针对航班正常、安全、有效运行的需求,建设航空流量管理及机场协同决策平台。 汇聚整合塔台数据、雷达数据、航空公司数据、机场数据,提供流量预测、特殊情况处置等 功能,实现飞行流量管理和机场航班运行协同决策,为民航航班指挥提供一站式数据服务。 (4)针对智能化航运业务的需求,建设航运大数据平台。汇聚整合全球港口、货物、 船舶等数据,融合多源物联网、北斗导航等数据,实现航运数据共享服务,建立基于大数据 的现代航运物流服务体系。 184 6.9.3 交通大数据应用案例 6.9.3.1 滴滴出行 (1)应用背景 目前,全国一二线城市普遍存在“打车难”问题,乘客打不到车的同时,出租车的空驾 驶率却居高不下。出租车市场供求失衡、乘客与司机间信息不对称等种种问题导致资源浪费 严重。 (2)数据源 用户行为、司机行为、微信支付、导航地图、道路交通等数据。 (3)图说场景 图表 101:大数据在滴滴出行中的应用 (数据来源:贵阳大数据交易所) (4)实现路径 推出智能化打车方式,通过用户的行为大数据与地图、交通大数据相结合,建立数据分 析模型,精确定位出租车司机与乘客位置之间的关系,快速的进行关联分析,做到匹配精确。 (5)应用效果 185 减少出租车空置率:让北京出租车空置率由 40%下降到 30%以下,相当于新增了 2 万 辆出租车。 解决打车难问题:滴滴打车使信息的传递效率更高,乘客不需要下楼招手,在房间里喝 咖啡看电视,就可以把出行需求发出去,当乘客发出信息之后,一秒钟后周边就会有 6 个司 机了解,司机再不需要把 40%的燃油成本放在扫马路找客户上了,解决了人力和车辆等资 源浪费的问题,对智能交通做出了一定的贡献。 6.9.3.2 杭州市利用大数据分析改进交通管理 智能交通行业是现代 IT 技术与传统交通技术结合的产物,对新技术的应用较为敏感, 但由于技术应用的均衡不一,新技术对传统技术的兼容性与适应性愈加敏感。 以浙江省杭州市为例,地方交通越来越繁忙,机动车辆不断增加,地方政府亟需对过往 车辆进行有效监控管理,从而提供更好的交通服务。当地交通部门在市内重要检查点安装了 上千台数字监控设备,7×24 小时不间断捕获图像和视频数据,每月数据量达 TB 级。 交通部门要有效利用这些不断增加的交通信息数据,以此改进交通管理。由此带来的挑 战是:1)交通数据的集中管理,交通部门需要集中访问分散存储在不同支队数据中心的图 像或视频等;2)优化海量数据加以利用,提供尽可能长时间的车辆监控数据;3)提高对各 种交通突发事件的应急调度能力,依据历史数据预测交通或突发事件的趋势。 面对大数据挑战,该市和杭州诚道科技有限公司紧密合作,部署了基于英特尔大数据解 决方案的诚道重点车辆动态监管系统,通过集中的数据中心将全市卡口、电子警察、视频监 控、流量检测设备、信号机、诱导设备等有效地连接起来,从交通案件侦破能力、交通警察 对机动车辆的监管能力到利用关联车辆的数据分析能力,都得到了极大提升。 基于英特尔软硬结合的大数据解决方案,海量图像和视频数据不但实现了高可靠和高性 能的存储,还能被大量的使用者快速访问和使用。浙江省某市可保存的历史违法数据从 3 个月延长到 24 个月,从 24 亿条过车数据中完成机动车的号牌精确查询和行车轨迹查询,仅 需不到 1 秒的时间。” 6.9.3.3 公共交通线路的智能规划 Cubic Transportation Systems 公司成立名为 Urban Insights 的子公司,为公交公司提供基 186 于订阅访问的大数据工具以及大数据咨询服务。交通行业里充斥着大量有价值的数据,目前, Urban Insights 已经开始与圣地亚哥交通系统以及其他一些交通部门合作,着手改善交通系 统。Urban Insights 提供了基于 Hadoop 开源软件的数据存储及处理工具,这些工具基本上解 决了 T 级规模数据的处理问题。算法工具可以洞察出不同数据素材间的关联,从而让公交 公司以做出更好的决策,在城市里,乘客想从起点到达目的地,也许要先乘坐电车,然后再 倒一趟公交,如果乘客使用“一卡通”乘车,那么在系统记录里,这是分别会是两次旅程, Urban Insights 则试图把这些看似独立的数据关联起来,如果有足够多的人会使用这段完全 相同的电车-公交的行程,运输署就将计划开通一条直接连通两地的固定公交线路。 此外 Urban Insights 计划将这个算法应用于改善那些拥挤的火车线路,支付系统的数据 知道乘客进出火车站的时间,结合调度系统的加密数据和车辆定位系统,可以有很高的几率 或准确率得知乘客到底乘坐的是那一趟列车,当 BART 比较数据和列车的承载能力,系统 就可以帮乘客发现哪量列车是拥挤的,并解决这个问题。 6.9.4 交通大数据重点企业分析 6.9.4.1 高德软件有限公司 高德是中国领先的数字地图、导航和位置服务解决方案提供商。公司于 2002 年成立, 2010 年登陆美国纳斯达克全球精品市场。高德具备国家甲级导航电子地图测绘和甲级航空 摄影的“双甲”资质,其优质的电子地图数据库成为公司的核心竞争力。高德发布 2015 中国 百姓出行大数据报告,与北京、武汉等城市交通管理部门深入开展交通大数据合作。目前高 德地图拥有超过 4 亿用户,以超过十三年的专业数据生产能力,累计采集超过 5000 万个 POI 数据,超过 530 万公里导航道路数据,同时支持全国 360 个以上城市的实时交通信息。高德 地图数据包括:第一,公众数据,手机地图 APP 的导航回传和车载导航设备的 GPS 点回传, 目前这两类占到 54%。第二,行业数据,行业数据通过置换和购买的方式主要是出租车数 据,高德拥有全国 80%以上的出租车的数据,此外还有一部分是物流车和长途客车数据, 通过车辆实时回传的 GPS 信息,汇集 70 多万件交通事件汇报等信息。高德对全国的高速路 网进行交通信息的发布,高速路占到 90%,主干路约为 50%。 高德基于覆盖全国的、优质的导航电子地图数据库,通过十年多的发展,形成了以汽车 导航、政府和企业应用、互联网及移动互联网位置服务三大核心业务。 187 6.9.4.2 北京千方科技股份有限公司 北京千方科技股份有限公司初创于 2000 年,是植根于中关村的自主创业企业。经过十 余载的积淀,千方科技业务已涵盖城市交通、公路交通、轨道交通、民航等领域,现有子分 公司 50 余家,员工 1000 余人,是中国智能交通行业领军企业,致力于成为移动互联时代技 术创新型的智能交通运营服务商和大交通数据服务商。 经过十余载的积淀,公司在城市交通、公路交通业务稳步发展的基础上,不断向轨道交 通、民航等领域拓展,持续开展“大交通”战略布局,各业务板块有机结合、协同发展,实 现公司业务从单一交通向综合交通的转变,是国内唯一一家综合型交通运输信息化企业;公 司以大数据为驱动,移动互联网为载体,已实现公司定位从智能交通向“互联网+”大潮下 的智慧交通转变、公司角色从产品提供商向运营服务商转变。公司面向“行业管理者”、“行 业企业”与“公众出行”的实际需求,不断完善业务布局并持续提高服务能力,兼具从软件 定制、研发到硬件生产、销售到系统集成、整合的能力,形成覆盖从产品到服务到解决方案 的智能交通全产业链。今后,公司将充分利用资本平台、技术和成果转化平台丰富大交通综 合业务体系,在公交电子站牌、智慧停车、汽车电子标识、全国客运联网售票服务平台、民 航出行信息服务等领域积极实现产品创新与突破。 6.9.4.3 杭州海康威视数字技术股份有限公司 海康威视几年前已经布局大数据和云计算,并在武汉市成立了大数据和云计算研发中心。 目前,海康威视已推出了大数据的初步应用,主要在三个方面:人脸数据的大库检索、海量 卡口数据的高效检索分析和案件数据的分析。大数据的魅力在于我们可以从数据中找规律, 它能使原来的“事后检索”变成“事前预判”。海康威视大数据库检索,可以做到将犯罪分 子人脸、作案车辆等特征图片放进视频图像库里进行搜索比对,寻找犯罪嫌疑人的踪迹。大 数据还必须做到“秒级响应”,反应迟缓的话,大数据也就失去了价值。海康威视在多个城 市的电子卡口系统中应用了大数据技术,在上百亿条车辆记录中快速搜索,几秒钟甚至零点 几秒锁定结果。在此基础上,可以更好地实现如套牌车辆研判、跟车关联分析、违法多发时 间和地点研判、交通流量分析和交通诱导等应用。 企业掌握的交通数据资源随着时间积累,已逐渐产生巨大的价值,不仅可以助力政府交 管部门的决策,而且商业应用也逐渐推广。在当前大数据时代背景下,海量数据所产生的价 值不仅能为企业带来商业价值,也能为社会产生巨大的社会价值。随着智能交通技术的不断 188 发展,凭借各种交通数据采集系统,交通领域积累的数据规模膨大,飞机、列车、水陆路运 输逐年累计的数据从过去 TB 级别达到目前 PB 级别,同时伴随近几年大数据分析、挖掘等 技术迅速发展,对海量的交通数据进行挖掘分析是交通领域发展的重要方向,得到了多地政 府和企业的高度重视。智能交通产业是现代 IT 技术与传统交通技术相结合的产物,而交通 大数据产业是大数据技术在智能交通领域内的应用产业。 6.10 物流大数据应用现状分析 大数据时代给物流企业信息化带来的最大机遇,是如何通过大数据分析提升自身的物流 服务水平。物流行业与材料供应商、产品制造商、批发零售商、消费者紧紧地联系在一起, 所涉及的数据量极大且具有一定经济价值,而应用大数据分析恰恰能对这些数据进行快速高 效的处理,得到准确的具有潜在价值的信息,对物流行业的发展具有强大的推进作用。 6.10.1 物流大数据现状 随着信息技术和互联网经济的快速发展,网购呈现不断增长的趋势,在物流企业的运输、 配送、仓储、再加工等环节每天都会涌现出海量的数据,使物流企业难以对每个环节中的数 据进行及时、准确的处理,这就需要通过大数据将信息对接起来,将每个节点的数据收集并 整合,通过数据中心分析、处理转化为有价值的信息,为物流战略决策、运营管理、资源统 筹、市场营销、客户管理等方面提供有力支撑,从而帮助企业优化管理,提高行业竞争力。 6.10.1.1 物流大数据在政府中的发展现状 物流业是关于国家经济发展的血脉,2016 年 3 月,国家“十三五”规划正式发布。其 中,规划纲要三次提及“快递“,十八次提及“物流”,二十次提及“大数据”。目前,国家出台 的与大数据相关的物流行业规划和政策,主要包括《第三方物流信息服务平台建设案例指引》、 《商贸物流标准化专项行动计划》、《物流业发展中长期规划(2014-2020 年)》、《关于推进 物流信息化工作的指导意见》等一系列政策,将大数据、信息化处理方法作为物流行业转型 升级的重要指导思想。纲举目张,各省市也积极响应政策,大力发展物流大数据。 (1)湖北 《武汉市大数据产业发展行动计划(2014—2018 年 )》 中明确提出了发展大数据产业, 促进武汉市长江航运物流的发展。依托长江水利委员会现有的计算资源、运行环境、传输网 189 络和存储资源,利用其海量水利业务数据和水利事务数据,整合长江航运物流信息,建设覆 盖长江流域的信息云数据中心。到 2018 年,建成覆盖长江流域的国家级云数据中心,为长 江流域和全国其他行业及社会公众提供长江及其流域湖泊、河流相关信息数据服务。 (2)浙江 《浙江省促进大数据发展实施计划》明确提出要推进海洋港口大数据应用。建立海洋资 源要素及海洋港口经济运行数据统一采集和开发利用机制,推动港口信息标准化建设和数据 联网,推进智慧港建设;依托国家交通运输物流公共信息平台和以宁波舟山港为核心的智慧 港口信息数据平台,建立政务、物流、通关、交易、金融、临港制造等领域数据交换共享机 制,打造全流程供应链,提升国内外揽货和配套服务能力;以提升公共服务能力和效率为核 心,推广应用卫星导航、船舶自动识别系统、雷达探测监控等技术,推动港口船舶、航道智 能化管理。 6.10.1.2 物流大数据在企业中的发展现状 在这个信息爆炸的时代,物流企业每天都会涌现出海量的数据,特别是全程物流(运输、 仓储、搬运、配送、包装和再加工等环节)每个环节中的信息流量都十分巨大,使物流企业 很难对这些数据进行及时、准确的处理。随着大数据时代的到来,大数据技术能够通过构建 数据中心,挖掘出隐藏在数据背后的信息价值,从而为企业提供有益的帮助,为企业带来利 润。 面对海量数据,物流企业正在不断加大大数据方面的投入,不仅把大数据看作是一种数 据挖掘、数据分析的信息技术,而且把大数据看作是一项战略资源,充分发挥大数据给物流 企业带来的发展优势,在战略规划、商业模式和人力资本等方面作出全方位的部署。 大数据能够让物流企业能够有的放矢,甚至可以做到为每一个客户量身定制符合他们自 身需求的服务,从而颠覆整个物流业的运作模式。目前,大数椐在物流企业中的应用主要包 括了市场预测、物流中心选址、优化配送路线、仓库储位优化等。 6.10.1.3 物流大数据的发展规模 在信息化等理念的驱动下,物流大数据产业迎来快速发展,未来市场规模将达百亿级别。 目前,各类物流相关企业均在利用物流大数据开展业务经营,包括快递、冷链物流、大件物 190 流、航运物流等企业,通过大数据技术对物流大数据充分应用,可提升物流企业的运营效率 和管理水平,基于物联网大数据的智慧物流将是现代物流的发展方向,未来的市场规模庞大, 应用前景广阔。 6.10.2 物流大数据的应用市场规模 随着“大数据时代”的到来,越来越多的物流企业开始应用大数据技术开展业务,通过 应用物流大数据提升企业的经营和管理水平。 6.10.2.1 物流大数据的应用价值 随着物流行业对大数据应用的逐渐深入,未来物流行业获取的数据已不只是行业内部信 息,还包括大量的外部信息。通过对这些数据的判辨,使得物流企业可以预测性地为每家客 户量身定制个性化、差异化服务。 (1)大数据分析可以帮助物流企业了解行业发展动态 目前,物流企业面对的是一个高度竞争、瞬息万变的市场环境,许多运输空载的问题就 是由于物流企业缺少通过数据分析和对未来市场做出预判,只看到眼前的业务增长就盲目增 加运力和仓储面积,当市场出现萎缩、业务量下滑的时候就会产生大批的富余运力和空置仓 库,从而导致物流企业的亏损。 通过对大数据的分析,物流企业就可以对未来市场和竞争对手的行为做出一定的预测, 及时调整发展战略,避免盲目的资产投入,以减少损失。随着近几年电商行业的飞速发展, 物流的强大需求确实存在。但这并不意味着物流快递企业们能相安无事地一起分享大蛋糕。 相反,目前我国物流快递行业竞争越来越激烈。要想在竞争中占据大的市场,获得更大的利 益,各大企业必须要从价格竞争转向价值竞争,提升自己的服务质量。 (2)大数据分析可以帮助物流企业增强客户的忠诚度 在互联网背景下营销将不受时间、地点的限制,也不再只是信息单向流通。更大的不同 是,从接触客户、吸引客户、黏住客户,到管理客户、发起促销,再到最终达成销售,整个 营销过程都可以只在信息交互中实现,通过了解用户行为进行精准营销。 191 图表 102:2004-2015 社交网络快递物流企业负面评价分析 (数据来源:贵阳大数据交易所) 物流产业大数据平台通过网络搜索引擎自动搜集了社交网络上关于快递企业的各种评 价信息,并利用智能化语义分析手段,对评价进行自动分析,形成快递服务网络评价分析报 告,直观展现消费者对快递企业服务的反映情况。 图表 103:2004-2015 年社交网络快递物流企业投诉增长图 (数据来源:贵阳大数据交易所) (3)大数据分析可以提高物流行业管理的透明度和服务质量 根据物流服务提供商设置的操作和绩效数据集,可以进行数据分析并创建可视化的流程 图和仪表盘,促进信息透明。有世界知名物流企业目前正在测试仪表盘,将其作为建设主动、 192 透明、开放、协作型公司的一部分。公开发布物流质量和绩效数据,还可以帮助客户做出更 明智的合作决定,这也将帮助物流服务提供方提高总体绩效,从而提升竞争力。 物流运输智能决策平台基于可视化分析技术,以出色而自然的方式,让企业的运输网络、 运输业务运营变的更智能、更可视。让企业管理者更了解自己,让客户惊叹于企业的实力。 对于运输业务的全面、实时、多视角的统计与分析,让时刻洞察、处处明晰。全面、实时监 控运力调度信息、服务时效信息,及时掌握运力超载、空驶、装载率低以及运单服务时效性 异常等情况,让企业管理者及时应对。 图表 104:大数据应用于物流运输智能决策平台 (来源:贵阳大数据交易所) (4)大数据分析可以优化物流企业盈利方式 通过建立物流行业网络平台和社区,平台可以产生大量有价值的数据,提供宝贵的数据 并汇总物流行业客户的消费记录,进而进行高级分析,最终提高物流需求方和物流服务提供 方的决策能力。平台的用户数据分析都是实时进行更新,以确保用户行为预测总是符合实际 用户需要;同时,动态地根据这些行为预测来设计一些市场策略,市场扩张的速度将取决于 物流行业大数据采集分析发展的速度。可以建立全国的客户数据库,提供准确和及时的物流 信息咨询,将会大幅提高公司的知名度和盈利能力。 193 图表 105:大数据应用于物流运输智能预警平台 (来源:贵阳大数据交易所) 6.10.2.2 大数据物流的需求分析 (1)物流快递行业 通过对大数据的整理分析,物流快递企业更加清晰的了解到各快递网络站点的运营状况, 包括对派件订单数量、收件订单数量、整体网站吞吐量、网络站点的主营产品类型等等。通 过对相关运营数据的分析和判断,逐渐对网络站点进行优胜劣汰。物流快递企业将网络网站 分为无效网点、潜力网点、利润网点、战略网点,为网络站点的合理布局提供指导意见。 另外,可以通过长时间的物流运营资料的汇总整理,对各经营网点进行不同数量规模的 物流设施、资源的配置,适时调配资源,实现快递运营的主动性、前置性,在保障物流快递 业务的正常运转前提下,节约成本,提高资源、设施的使用效率,保障整个快递网络的健康 发展。同时,可以为快递企业满足个性订单、开展定制化服务、实施弹性配送带来参考依据。 (2)物流运输运营管理 对于物流运输市场来说,大量运力资源可以全部通过物流信息平台进行数据汇总,通过 物流信息操作平台就可以实现运力资源的合理配置以及运力监控。目前,这种物流运输资源 的控制平台相对比较零散,在后续的运力市场发展中,将逐步整合或对接同质的资源信息平 台,从而提高大数据的范围及规模,对于资源的合理利用和有效开发提供持续保障。另外, 通过运输资源平台对大数据的信息汇总和分析,可以分析较低的运力产能的来源,筛选低于 194 平均油耗高于平均水平的车辆,分析运营线路与运量资源的匹配度,同时可以增加对费用分 析及成本分析的模块,从而获得费用、成本相对合理的运营线路和适宜的运力资源。 6.10.2.3 物流大数据应用市场规模 传统物流发展到一定规模时,就需要研究其效率和成本,大数据技术能够分析商品特性、 客户的个性化需求、客户地理位置等多维因素,借助大数据建模与挖掘技术,及时对影响配 送计划的各种因素做出响应,确定物流配送的交通工具、最佳线路,制定出高效合理的物流 配送方案等实际应用。贵阳大数据交易所预测 2020 年中国物流大数据应用市场规模将达到 96.78 亿元。 图表 106:2014-2020 年物流大数据应用市场规模及增长趋势 6.10.3 物流大数据应用案例 大数据时代来临之后,物流企业间的竞争愈加激烈,为更好的抓住大数据时代带来的机 遇和挑战,物流企业应用大数据技术开展业务。 案例:“农夫”玩转交通数据,实现资源合理配置 (1)应用背景 将自己定位成“大自然搬运工”的农夫山泉,在全国有十多个水源地。农夫山泉把水灌 装、配送、上架,一瓶超市售价 2 元的 550ml 饮用水,其中 3 毛钱花在了运输上。在农夫 山泉内部,有着“搬上搬下,银子哗哗”的说法。如何根据不同的变量因素来控制自己的物 195 流成本,成为问题的核心。 在没有数据实时支撑时,农夫山泉在物流领域花了很多冤枉钱。比如某个小品相的产品 (350ml 饮用水),在某个城市的销量预测不到位时,公司以往通常的做法是通过大区间的 调运,来弥补终端货源的不足。“华北往华南运,运到半道的时候,发现华东实际有富余, 从华东调运更便宜。但很快发现对华南的预测有偏差,华北短缺更为严重,华东开始往华北 运。此时如果太湖突发一次污染事件,很可能华东又出现短缺。” (2)数据源 物流大数据:高速公路的收费、道路等级、天气、配送中心辐射半径、不同渠道的费用 销售数据:季节性变化、不同市场的售价 其他数据:各地的人力成本、甚至突发性的需求(比如某城市召开一次大型运动会) (3)图说场景 图表 107:物流大数据应用场景示例 (来源:贵阳大数据交易所) (4)实现路径 通过对交通物流、产品供需、销售情况等相关数据进行分析,使各条线路的运输成本、 物流中心设置最佳地点等信息及时呈现,最终实现产品运输决策的智能化、物流成本的精准 化、运输资源的配置合理化。 196 (5)应用效果 数据实时更新。运用大数据技术,销售、市场费用、物流、生产、财务等数据的计算速 度,从过去的 24 小时缩短到了 0.67 秒,几乎做到实时计算。 销售额提高。强大的数据分析能力做支持,近年农夫山泉保持 30%-40%的年增长率。 市场份额加大。在饮用水领域,农夫山泉快速超越了原先的三甲,娃哈哈、乐百氏和可 口可乐,份额分别为 34.8%、16.1%、14.3%、4.7%,农夫山泉几乎是另外三家之和。 6.10.4 物流大数据重点企业分析 物流大数据企业主要指从事物流相关业务的公司,不仅具备丰富的物流大数据资源,而 且能够应用大数据技术开发相关产品或业务链条,提升公司的物流经营和管理水平。 (1)Amazon 亚马逊公司(Amazon),成立于 1995 年,位于华盛顿州的西雅图,是美国最大的一家 网络电子商务公司,已成为全球商品种类最多的网上零售商和全球第二大互联网企业。亚马 逊将集成物流与大数据紧密相连,通过自建物流体系与大数据技术相结合,提升客户体验, 实现精准营销。 1)智能化预估系统 亚马逊的预估体系,在整个物流集成管理上起到了非常关键的作用。应用云计算的设备 以及管理系统,亚马逊创建了智能化预估系统,对每个物流中心进行特别的管理方式,对仓 储空间和配送路径进行精细的计算。依据大数据技术可推知客户在买一样货物时的关联货物, 在供货、上架、储存的时候,会按照数据的分配相互交叉的储存;在出货的时候,获得最短 取用距离,使得亚马逊的上架效率及空间利用率极高。 2)智能化运输调拨系统 应用大数据技术,亚马逊实行全天侯全程监控运输网络。通过调拨干线运输和最后一公 里运输进行智能化管理,实现“还未下单货在途”。消费者购买亚马逊的产品,可以在网上 看到一个配送时间的估算,它是利用大数据跟物流体系相互连接,在消费者下单的时候做出 核算,使亚马逊根据消费者需求及时推算合理的送到时间。 197 3)应用大数据技术、推动物流集成创新 亚马逊将大数据分析与物流体系进行对接,将仓储物流服务与产品配送结合起来,定时 或定点为消费者提供新鲜的产品和及时服务。借助终端 GPS 设备,送货员能够确定最优送 货路线,在节省时间和财力的同时也为顾客提供了更优质的服务。 (2)顺丰 顺丰速运于 1993 年 3 月 26 日在广东顺德成立,是一家主要经营国际、国 内 快递业务的 港资快递企业。顺丰始终专注于服务质量的提升,不断满足市场的需求,在大中华地区建立 了庞大的信息采集、市场开发、物流配送、快件收派等业务机构,建立服务客户的全国性网 络,同时,也积极拓展国际件服务,目前已开通新加坡、韩国、马来西亚、日本及美国等业 务。顺丰的物流大数据资源丰富,不仅是一家高科技物流企业,更是一家大数据公司,利用 大数据技术提升公司的管理和运营效率。 1)自主研发数据中心系统 顺丰自主研发的数据中心系统,能保障顺丰物流的高效快捷。顺丰遍布全国 5000 多个 网点的工作人员,每天利用数据中心系统对快递包裹信息进行实时监控及管理,实现了物流、 信息流、人流、现金流无缝对接,快速周转。数据中心系统积累了大量的物流数据,通过大 数据技术,能为顺丰提供决策、咨询等服务。 2)安全事件分析平台 顺丰采用开源大数据分析技术,搭建了自有信息安全事件分析平台,对 IT 基础设备、 重点业务应用等搭建安全分析预警模型,全面管控其业务运行的信息安全风险。 3)大数据日志管理平台 顺丰大数据日志管理平台分为四个层面:数据收集层面,从大量的数据源实时采集相应 的信息,数据库、文本文件、设备等的信息;离线分析层面,把所有数据收集后放进数据库, 做全量的数据模型分析;实时数据分析,利用 spark 技术来做流向分析,对于用户行为、系 统报警行为做系统即时的分析和报警。数据分析结果和展现的层面,可为安全人员发现问题 和后续问题的整改,数据的用户交互以及展现的层面提供支持。 198 6.10.5 物流大数据交易现状 物流大数据交易模式采用利益交换的模式,即用服务去换取管理。各个利益主体通过交 换的方式满足自身的需求,如:甲方将物流大数据的管理权交给乙方,而乙方将物流大数据 整合起来后形成服务或产品给甲方或丙方。 目前,物流大数据交易仍处在起步阶段,但各地区已经针对交易模式开始了探索。据悉, 不仅贵阳大数据交易所,其它大数据交易产业联盟均已与各地区政府签订了战略合作协议, 共同开发建设大数据交易平台,这将有力推动物流大数据的交易量,提升数据价值。截至 2016 年,已获知国内最大的一笔物流大数据交易,即贵阳大数据交易所与深圳某家物流贸 易企业达成的每年 1000 万元的数据采购框架协议。 6.11 气象大数据应用现状分析 当前,大数据浪潮在气象领域已经势不可挡。气象部门及互联网监测到的大量气象数据, 应用大数据分析方法进行深入挖掘,通过数据对比、模型分析等技术手段,在气象防灾减灾、 公众出行、农业生产、防汛抗旱、交通运输等方面,形成更精细、更准确、更长预报时效的 天气预报相关服务产品,从而产生了巨大的社会效益和经济效益。 6.11.1. 气象大数据现状 随着气象信息化进程的不断加速,气象行业内部累积的历史气象数据不断增加。国家气 象局统计数据显示,上世纪 90 年代之前,气象数据主要来源于地面观测和高空观测两个途 径。并且受当时科学技术水平等因素的限制,只有 2000 个地面站、120 个高空站,而且地 面站以小时为单位收集气象信息,高空站每天观测不超过 4 次,气象数据总体日增量也局限 在 GB 量级。目前,我国拥有自动监测站点 5 万多个、地面气象观测站点 2 千多个以及其他 各类观测站点千余个,每 10 分钟观测一次,在未来气象数据在空间密度上,至少增加 20 倍,频度将增加 60 倍,地面及高空观测信息总量增加 1200 倍。我国国家气象局保存的气象 数据总量已达到 PB 级,且每年新增加的数据量也接近 PB 级。由这些气象观测站点所采集 的历史数据、及实时气象数据以及互联网采集的数据共同构成了气象大数据。 6.11.1.1 气象大数据分类 气象大数据从来源渠道划分,可分为气象行业大数据和气象互联网大数据两类: 199 (1)气象行业大数据 由与气象部门各项工作相关、且产生自气象部门内部的所有数据组成,包括由气象部门 建设的、专业气象探测设备所产生的气象专业探测数据,其它部门自行采集、通过数据共享 交换等方式汇聚到气象部门、且经过气象部门严格质量控制的气象要素探测数据,由气象业 务部门和业务系统产生的各类气象服务产品数据、派生数据及中间产品数据,职能部门各管 理系统所产生和管理的数据,各业务和管理系统的状态数据和日志数据等。 (2)气象互联网大数据 由互联网上与气象相关的所有数据所组成,包括移动终端承载的气象要素传感设备的探 测数据,网友随手拍照并上传的天气状态照片,搜索引擎对气象相关敏感词的统计分析数据, 其它所有可供气象局部门业务和服务应用的互联网数据等。 图表 108:气象大数据分类 (来源:贵阳大数据交易所) 6.11.1.2 气象大数据特征分析 (1)气象行业大数据体积虽大,但总量可控 目前,气象行业大数据就体积而言,在所有气象资料中,地面观测、气象卫星遥感、天 气雷达和数值预报产品四类数据占据总量的 90%以上。 由于观测资料的空间分辨率的提升未来主要依靠遥感手段解决,因此在地面观测台站达 200 到一定密度,观测频度达到一定程度后,台站数不会无限制持续增加,观测频度也不会无节 制地永远加密下去,因此总量既是可预测的,更是可控的。 未来数年内,我国还将发射数颗气象卫星,每颗卫星都会产生数百TB级的数据年增量。 为满足气象卫星资料的应用时效,国家卫星气象中心针对每一颗气象卫星,都建有相应专属 的地面接收处理系统,已完全实现所有气象卫星遥测遥感资料的实时接收处理。此外,旧星 的退役也会导致部分数据来源的关闭。因此气象卫星数据目前虽以每年数百TB的量级增长, 且规模有可能继续扩大,但却始终处于可控可管和完全可用状态。 天气雷达的全国布网工作已基本完成,雷达总量不会再有成倍数的增加。且目前的天气 雷达已基本实现 7×24 小时全天候不间断观测。因此天气雷达的资料量(年增量),将稳定 相当长一段时间,不会出现成倍数的增量变化。 数值预报模式产品资料是各级预报员最重要的预报参考资料,这些产品一旦生成,便即 刻送达天气预报、气候预测专家的桌面,供其业务参考使用;同时以满足业务需求的时效, 分发至各省级乃至地市级气象部门,供其本地化应用。数值预报产品资料是可再生的,无永 久保存的必要。因此数值预报产品资料体积虽大,却始终处于可控可管和可用的状态,未来 也将始终如此。 (2)气象行业大数据与气象互联网大数据属性差异较大 气象行业大数据与气象互联网大数据间存在很大差异。气象行业大数据属于气象业务数 据,服务于气象业务相关工作,其气象信息浓度高、各种技术指标亦最为符合气象业务和工 作的各项要求;相比较而言,气象互联网大数据是从互联网上收集来的,来源于其它非气象 部门的行业、企业,是为满足这些行业和企业自身业务目标而生成的,这些数据气象信息的 浓度、数据质量等参差不齐。 图表 109:气象行业大数据与气象互联网大数据的区别 序号 指标 气象行业大数据 气象互联网大数据 1 数据来源 气象部门 互联网 2 要素内容 专业、标准、全面 简单 3 时空密度 专业化、均匀 不均,极密或极疏 201 (来源:贵阳大数据交易所) 6.11.2. 气象大数据应用市场规模 与世界大数据时代的进程相同,气象数据量不断翻番。中国每年新增的气象数据达到 PB 量级,较上世纪 90 年代增长了数千倍,并仍在快速增长中。存储和处理这些数据,需要 海量的计算资源。 现在,地面观测站大约有 4 万个,每 10 分钟观测一次,未来还将加密至分钟级;在空 间密度上,至少增加 20 倍,频度将增加 60 倍,地面及高空观测信息总量增加了 1200 倍。 而这些只占整个气象数据的 30%,雷达、卫星以及数值预报数据占到了 70%。目前,每年 的气象数据已接近 PB 量级(1000GB=1TB,1000TB=1PB)。这也正是大数据规律的体现, 即对大数据进行相对简单的运算永远比对小数据进行复杂运算得出的结果准确。观测信息量 越大,所蕴藏的真实信息越多,就更能做好预报。 应用大数据的气象服务已经从单纯的灾害性天气预报逐步向综合灾害影响评估、灾害风 险管理和以天气为重要生产要素的开发与利用方向发展。可以说,我国的大数据气象服务市 场从无到有,从简单的气象预报发展到面向社会公众和各行各业提供有针对性的气象服务, 在改善和提高居民生活水平,提升各行业发展效率、利用气象数据趋利避害等方面取得了前 所未有的成绩。如果商家在生产、采购、销售计划中考虑气象因素,趋利避害,不仅能避免 损失,还可以变成在竞争中的优势,帮助企业预测并确定生产营销计划。这成为大数据气象 服务产业巨大市场潜力的最佳注解。 2008 年至 2013 年,气象科技服务收入年平均增长率达 19.8%,而气象大数据的应用市 场将更加广阔,在 2014 年就突破 4 亿,预计到 2020 年气象大数据应用市场规模将达到 105 亿以上。 4 数据精准度 精准 参差不齐 5 数据采集方式 专业探测设备 移动终端、家用电器、交通 工具、非气象监测设备等 6 数据体量 4PB—5PB 较大 202 图表 110:2014-2020 年气象大数据应用市场规模及增长趋势 6.11.2.1 气象大数据的应用价值 气象大数据蕴含丰富的应用价值,既可以应用于气象部门专业服务,也可以惠及百姓的 日常生活及各行业。 (1)从服务对象来说,气象大数据可以为气象部门内部业务、科研和公共气象等提供 相关服务。 1)气象部门内部业务服务主要是为气象部门工作人员提供的各种服务,如气象数据的 查询、预报产品制作、气象数据入库等功能; 2)气象科研服务主要指利用气象大数据进行数值分析、气象灾害风险评估等升值服务 功能; 3)公共气象服务主要指对气象观测大数据进行处理和分析,惠及人们日常生活以及其 他行业。例如能源行业,可以观测到电力负荷历史;建筑行业,通过工期历史加上历史天气 就可以知道工期预测;交通行业,航班准点率历史数据加上机场历史天气数据,就可以航班 延误预测,准确性非常高;物流运输行业,通过某地区的历史气象数据信息及气象现状推算 出该地区的气象走势,借此更加合理地开展物流规划,优化路网建设;公共卫生行业,通过 门诊量和药品销量加上气象历史就可以知道发病率预测。将气象大数据应用于各行各业,有 助于产生巨大的经济效益。 203 (2)从服务形式来说,气象大数据可以体现出五方面的价值:引领气象数据开放、推 动业务系统升级、挖掘气象数据价值、提升气象服务能力和促进气象数据产业。 当气象数据在能保障数据安全的市场机制下,开放到社会数据用户手上时,不但能创造 出应有的商业价值,而且可使基本气象产品得到持续稳定的用户检验,倒逼气象业务系统的 升级和优化,同时还能促进气象数据来源的不断完善和补充,形成数据来源和数据价值挖掘 的良性循环。通过气象大数据的开放共享,可吸引更多的社会数据用户和专业团队加入到气 象数据的开发应用行列,从而推动气象大数据产业发展。 图表 111:气象大数据应用价值示意图 (来源:贵阳大数据交易所) 6.11.2.2 气象大数据的需求分析 (1)数据资源开放共享 通过数据资源与计算资源捆绑开放的方式,对社会数据用户而言,可以获得优质低门槛 的创业资源;对气象部门而言,通过数据开放、融合和挖掘,可实现气象数据的自我增长和 更深层次的数据应用。 (2)数据市场化运营 通过大数据交易所数据交易平台的气象数据开放,可以促进气象数据的市场化开放、融 合和应用,解决气象数据进入市场的收益问题。 (3)数据应用模式创新 通过气象数据资源的整合开放及开发运营环境的提升,将激发社会数据用户和专业团队 的参与活力,从而催生多领域深层次的应用,经过市场的优胜劣汰,将有助于解决气象服务 204 需求与能力的距离并带来经济收益。 图表 112:气象大数据需求示意图 (来源:贵阳大数据交易所) 6.11.3. 气象大数据应用案例 6.11.3.1 贵阳市气象局与大数据交易所共建气象大数据战略合作 2015 年,贵阳市气象局与贵阳大数据交易所签订大数据战略合作框架协议,双方将利 用贵阳大数据交易平台,共同推进基本气象资料和产品共享、推动贵阳大数据产业发展、支 持大数据创新型人才培养。 根据协议,贵阳大数据交易所将作为贵阳气象部门授权的数据公开平台和渠道,将气象 数据与各行业融合,充分挖掘气象数据的价值。双方将利用大数据交易平台,对气象数据进 行挖掘、建模、分析和可视化,丰富气象部门主动公开政府信息的时间跨度、信息品种、信 息深度,完善气象部门依市场主体申请公开政府信息的方式方法和渠道,满足各类市场主体 对气象数据的应用需求,创新建立气象部门运用大数据加强对市场主体服务和管理的体制机 制。 气象局将监测到的大量气象数据,应用大数据分析方法进行深入挖掘,通过历史数据对 比、模型分析等技术手段,在气象防灾减灾、公众出行、农业生产、防汛抗旱、交通运输等 方面,形成更精细、更准确、更长预报时效的天气预报服务产品。以气象数据与运输行业数 据融合分析为例,可以通过某地区的历史气象数据信息及气象现状推算出该地区的气象走势, 205 借此更加合理地开展物流规划,优化路网建设。气象数据可以实现商业化应用,气象部门将 推动气象数据与商业保险公司、医药行业企业的需求融合,进而为社会创造财富。 6.11.3.2 孟山都应用气象大数据促进农业的发展 由于看到了气象大数据在促进农业发展方面的极大潜力,孟山都在 2013 年收购了一家 名为 The Climate Corporation 的天气大数据公司。天气大数据公司,致力于通过大数据技术 生成高效的软硬件和保险产品,帮助全球农民更安全合理地进行耕作。公司下属的天气科技 平台 Climate Technology Platform 应用大数据融合精确定位的天气监测、农艺模型和高清模 拟天气等技术,推出 Climate Basic™和 Climate Pro™两项网络和手机软件服务,帮助农民掌 握更多信息,更好地进行田间管理和理财决策,从而提高收益。天气大数据公司与 OneBeacon 保险公司(美国联邦作物保险项目的授权供应商)独家合作,通过授权的作物 保险独立代理商为农民提供农业领域最有效最全面的风险管理方案。天气大数据公司独有的 技术可以帮助全球农业收益稳定并有所提高,最终满足世界人口的衣食需求。 这家公司基于互联网和移动端的免费服务,通过先进的数据科学向农民提供从土壤湿度 到农作物生长周期到当前与未来天气的田间数据,以此来帮助农民优化日常决策。注册该服 务的农民们只需要登录 Climate Basic™的移动客户端,便可得知自己农场范围内的实时天气 信息,如温度、湿度、风力、雨水等,甚至可以跟踪植物成长、监控每一块田地的谷物湿度、 以及即时跟踪大宗商品价格等。当然,农民们使用、分享、和上传的数据作为个人隐私也将 得到很好的保护。如今 Climate Basic™服务已经覆盖了全美超过五千万英亩(1 英亩约等于 0.4 公顷)的农田。除了拥有分析大量农业数据的能力外,天气公司还拥有精准农耕业务。 这项业务通过对以往农田及作物产量数据的分析,实现耕种这一传统技艺的“定制化”。根 据天气的变化进行不同深度、不同间距以及不同品种的播种活动。这样一来,整个播种、施 肥、灌溉、打农药等过程都能够极大地节约化肥、水、农药等投入,把各种原料的使用量控 制在非常准确的程度。这样的精准农业不仅能够实现作物增产,也减少了农业活动对土壤活 力的伤害,帮助实现农业发展可持续。 6.11.3.3 大数据助力广东省气象局解决海量数据难题 广东省气象局负责在广东省内组织对重大灾害性天气跨地区、跨部门的联合监测、预报 工作。利用存储的实时雷达气象数据、实时卫星数据和历史数据,部署相应的应用系统,采 用分布式计算、分布式存储、精妙算法等技术帮助气象局完成大数据的导入、共享、分析、 206 计算,数据实时更新、数据快速增长、得出准确的气象预报,保存以及面向普通市民的云端 拓展。 当大数据遇到气象应用,一切的海量数据得到盘活,给管理、预测、预警带来的巨大便 利,同时也通过官方网站向市民开放气象信息,在行使政府职能方面气象部门走到了前列。 让大数据服务于民,充分运用大数据先进理念、技术和资源,加强对市场主体的服务和监管, 推进简政放权和政府职能转变,这也是国务院提出《促进大数据发展行动纲要》的设立初衷。 高效利用现代信息技术、社会数据资源和社会化的信息服务,能够降低行政监管成本,从而 进一步提升政府治理能力。 6.11.4. 气象大数据重点企业分析 6.11.4.1 MeteoGroup 气象公司 MeteoGroup 气象公司成立于 1986 年,总部位于英国伦敦,是欧洲最大的气象服务提供 商,在全球商业气象服务公司中处于前三甲的位置,其开发的天气应用程序 WeatherPro 可 以提供世界各地两百多万个地区的天气预报信息,并且准确性极高,已成为各大应用市场最 畅销的应用程序,一致受到用户的好评与赞扬,在世界各地都设有子公司和办事处。 MeteoGroup 主要业务是向全球的海运、电力、铁路、能源等行业的公司和企业提供有关气 象方面的服务。MeteoGroup 经验丰富的气象专家会提供全天候高质量的气象分析和咨询。 他们在全球有 17 间办公室,400 多名员工从事专业气象服务。 MeteoGroup 在数月前就通过大数据分析对日食发生的准确时刻、食分的大小和见食的 地区进行了较为精准的预报,并预测到发电量将在 20 日上午 10 时 40 分暴跌 70%。最终日 食开始的德国时间上午 9:30 左右,光伏发电出力可能瞬间减少 1200 万千瓦。而在两个小时 之后的正午太阳从月亮后面钻出来,届时将有 1900 万千瓦的负荷功率进入电网。这些分析 都为欧洲电网公司应对此次“黑暗”危机赢得了时间,最终德国电网承受住了此次短时冲击。 要知道德国将近四成的光伏发电是分布式的,分散在每家每户,并不是像核电或者火电站可 以统一控制和调度,而德国的可再生资源又规定新能源必须百分之百接入,即使在突发事件 下强制切断也是违法的,这无疑增加了日食事件处理的难度,也给大数据提供了一次显示身 手的机会 207 6.11.4.2 墨迹天气 墨迹风云(北京)软件科技发展有限公司于 2010 年成立。是一家以“极致、责任、创 新”为公司理念,以做卓越的天气服务公司”为目标的新兴移动互联网公司。主要开发和运 营的“墨迹天气”是一款免费的天气信息查询软件。墨迹天气目前已覆盖 Symbian、Android、 iOS、Windows、Win8、Winphone 等平台。 经过 5 年多的发展,墨迹天气已拥有约 4.7 亿用户,天气日查询次数过亿,Android、IOS 双平台排名前 20,中国生活服务类应用排名第 2 位,支持 196 个国家 70 多万个城市及地区 的天气查询,分钟级、公里级天气预报,实时预报雨雪。提供 15 天天气预报,5 天空气质 量预报,实时空气质量及空气质量等级预报。特殊天气提前发送预警信息,帮助用户更好做 出生活决策。“贴心、专属、连接”,做懂用户的天气助手,为用户提供贴心的气象服务。2014 年,发布家用空气检测设备“空气果”,结合软硬件提供智能家居体验,在市场上得到很好 的口碑及社会影响。2015 年 12 月,基于上空气果一代的优势,迭代推出“空气果 1S”,让 “空气清新看得见”。在节约能源的过程中,墨迹不断努力践行。通过收集空气果的数据并 进行大量的分析,相对准确的信息可以为能源场所提供指导,节约能源。 2016 年,墨迹天气创造性地提出“天气+”概念,以气象大数据为基础,将天气作为生 活入口,提供给用户更多生活化、场景化的服务。 6.11.4.3 美国国家气象频道 美国国家气象频道(The Weather Channel)总部设在美国亚特兰大,隶属于 Landmark 公司(美国一家私营跨国传播公司)。上世纪 70 年末,在 CNN 新闻频道开播两年之后,天 气频道于 1982 年 5 月创办,从而发展成为美国一个重要的天气信息提供商。目前天气频道 为全美逾 8900 万有线电视家庭(几乎全覆盖)和 400 多万拉丁美洲用户提供服务。 美国电视里的天气频道和 Weather.com 都是美国人民众所周知的专业天气播报渠道,他 们通过搜集、整合新闻大数据,向用户呈现引人入胜的故事,而不是单纯的预报天气。通过 对大数据的处理,相应地调整用户体验。割整合数据,这样使用户快速找到他们想要的信息。 比如,某天某个时间某人因为某件事情前来找你,又或者本周五早上,天气如何应该穿什么 衣服,周末气候如何应该做什么准备。 208 6.12 环保大数据应用现状分析 环境监测数据特点主要包括数据源具有多元化、数据分散复杂碎片化。具体来看,环境 质量趋势简单分析、数据开放性不高、数据价值率不超过 10%;数万环境监测站点 24 小时 不间断,地面监测数据 6 万条/日,加之卫星监测数据,每天监测数据达 GB 级,累计数据 高达 PB 级;环境监测数据获取频率以分钟来计,指数级增长大约两年内翻一番,重大突发 环境应急在秒级,监测公共信息传播互联网化等。 目前我国环境监测大数据的获取、存储等能力基本形成。已形成从地面到天空、从室内 分析到在线自动监测、覆盖合理全面、天空地一体的立体监测网络;已具备全面、客观反映 各类环境要素的污染水平、环境质量状况,生态系统格局、结构、功能、胁迫等基本状况能 力;我国环境监测已成功解决了数据的“温饱”问题,告别了环境监测数据的“短缺”时代,步 入环境监测大数据时代。世界上许多国家都已经认识到了环保大数据所蕴含的重要战略意义, 纷纷开始在国家层面进行战略部署。 6.12.1 环保大数据现状 环保大数据就是将环境规划、环境监测、环境执法等与环境管理相关的数据和信息联系 起来,让群众了解更多环境信息,并可以跟踪、查询,让各级政府、各部门接受监督,从而 实现环境保护工作标本兼治。环保领域的大数据工作主要包括 4 个方面,一是信息公开,新 《环保法》将信息公开独立论述,凸显其重要性。二是数据收集,在信息公开基础上,对数 据进行收集、整理、入库。三是数据分析,对收集来的数据进行分析。四是数据呈现,将分 析的结果,完整地呈献给公众。这些工作一方面可以依托中国环境保护部门开展,另一方面 也可以协同社会各方力量共同参与。 就环境领域而言,若要全面呈现环境问题,尤其需要通过互联网实现环境数据、信息等 要素互通共享,从而推动环境问题得到整体有效解决。贵阳大数据交易所认为目前主要存在 以下三种与环境相关的数据来源: (1)环境质量 这是指我们赖以生存的外部自然环境质量表征,典型数据信息包括大气、地表水/水资 源、土壤、辐射、声、气象等环境质量,通常由政府及其有关部门(例如环保部)公开其制 209 作或获取的环境信息。基于已经建立起来的以国控、省控、市控三级为主的环境质量监测网, 形成例如全国城市空气质量日报/时报(367 个城市)、全国主要流域重点断面水质自动监测 周报(145 个监测断面)、全国辐射环境自动监测站空气吸收剂量率(44 个站点)等信息公 开机制,而这些数据也初步勾勒出了我国整体环境质量状况。 (2)污染源排放 这是造成环境污染的核心原因,具体体现为废水、废气、固废、放射源等形式,主要包 括污染源基本情况、污染源监测、设施运行、总量控制、污染防治、排污费征收、监察执法、 行政处罚、环境应急等环境监管信息。2013 年 7 月,环保部出台《关于加强污染源环境监 管信息公开工作的通知》,并印发《国家重点监控企业自行监测及信息公开办法(试行)》和 《国家重点监控企业污染源监督性监测及信息公开办法(试行)》,目前处于各地逐步落实过 程中。以北京市为例,已按季度发布国控企业污染源监督性监测情况,而 27 家重点排污单 位和上市企业于 2015 年起初步实现自行监测信息对外发布,但目前仍无法实现实时信息公 开。 (3)个人生活 对于每个人来说,由于其与社会以及自然界的互动,同样可能产生大量与环境相关的数 据信息,并具有较为明显的个性化特征。从衣食住行来看,包括身边的空气质量(室内/小 区)、用水量/水质、用电量、产生的各种废弃物(生活/厨房垃圾)、有价值的废旧物品(纸 张/衣物/塑料/包装/玻璃/电子电器产品/家具/汽车)等。这些数据尽管拥有巨大的潜在价值, 但其分布却呈现天然的分散状态,而互联网(特别是移动互联网)的快速普及应用正在使得 上述信息的收集利用变得可能且可行。 经过 30 多年的发展,我国已形成了由 2700 多个环境监测站、3 颗环境监测卫星组成的 天地一体化的环境监测体系;包括大气、地表水、水资源、土壤、辐射、噪声等环境质量监 测数据量达 100TB;废水、废气、固废、放射源等污染源监测、设施运行、污染防治等污染 源统计数据累计达 10TB;环境卫星等多源遥感数据累计达 400TB,每天还在以 0.2TB 速度 增加。 环境保护部建成了一张覆盖“三层四级”的环境保护业务专网,打通了各业务部门的环境 数据传输与交换通道,覆盖环境保护部、32 个省级环境保护厅(局)、352 个地市级环境保 210 护局、2799 个区县级环境保护局以及 37 个直属单位和派出机构,为环境保护的业务运行、 数据传输、视频会商、应急指挥等各类应用提供了重要的基础网络平台。环境保护部数据传 输与交换平台覆盖部、省、市、县四级,实现了数据的远程上报、同步、交换和共享。远程 公文传输系统、环境统计业务系统、政务信息系统等其他业务系统的有效运行进一步提升了 环境保护工作的信息化水平。 未来,全国环境保护监测体系可以囊括环保的业务大数据,正在推进的生态环境保护信 息化工程打通了各部委信息交换的通道,网站、微博、微信等媒介实现与公众信息的对接。 全国环境保护监测信息将在专网基础上,进一步延伸到企业端,对每一个环境管理行为进行 监控,对企业生产和排污的全生命周期进行监控,形成环境管理的闭环,并为监察监测和执 法提供依据。 6.12.2 环保大数据应用市场规模 6.12.2.1 环保大数据的应用价值 随着“互联网+”、云计算、大数据等新兴技术在我国蓬勃发展,与环保产业融合后孕育 出多个新兴的细分产业。环境质量与污染排放监测数据量大、结构复杂,中国市场情报中心 (CMIC)近两年环保部污染物监控中心每年总数据量达到 14.6 亿条。在海量数据的基础上, 大数据技术的深化应用驱动环保大数据应用,环保大数据在政府、企业和个人领域将呈现出 不同的应用场景。 图表 113:环保大数据应用价值 序号 种类 价值 应用场景 1 政府应 用类 制定环境管理策略 污染物排放分布图、环境容量 评价企业排污情况 企业基本排放水平、企业排污规律 行业环保监管新方式 行业污染物合理排放区间 确定企业排污实际情况 违法排污线索、违法排污企业 2 企业应 明确产品结构 产品结构优化方向、各产品污染排放贡献率 211 用类 明确原材料污染排放规律 各原材料污染排放贡献率、原材料结构化 明确工艺参数污染排放规律 各参数对污染排放的影响、工艺参数优化区间 挖掘生产污染排放关联项 原材料、生产工艺、产品结构 3 公众应 用类 环境质量状况动态分布 环境质量指标体系、环境质量动态分布图 基于公众参与的环境改善策略 “新数据”公众意见、举报、城市环境改善重点策 略 (来源:贵阳大数据交易所) (1)提高生态环境治理能力 目前,我国环境监测体系初步形成,对于海量数据的运营仍然存在巨大的提升空间,大 数据技术的植入,可明显增加环保数据解析的维度,透析众多企业的环境治理状况,开发多 种打击环保违法行为的手段,增强环境监管的力度。 推进政府生态环境治理能力,需要构建以政府、企业、社会公众为多元主体的环境污染 防治体系,需要突出污染源企业在环境污染治理的主体责任,需要发挥社会公众参与环境污 染治理的作用。在互联网、大数据时代,政府提供电子公共服务让更广泛的社会公众、企业 参与到政府的管理和决策中。通过互联网服务平台,政府部门采集大量社会公众需求信息, 收集大量民意信息、诉求信息,这些信息与环境保护部门的数据相结合,形成环保大数据。 通过对环保大数据进行分析,以污染物总量核算为基础,制定环境管理策略。针对环境 质量和污染物排放监测数据,核算企业排污总量、评价总体环境容量、形成全国污染物排放 分布图,判断各区域污染物排放情况和控制目标,制定相应的环境治理测率。以行业数据评 价为手段,按照企业所属行业分类,核算行业内污染物的合理排放区间。以单个企业排污数 据,评价企业排污情况,分析企业当下污染物排放状况,判断企业是否存在漏排、偷排行为。 以线上线下数据对比,针对线上提供的精确线索,迅速发现可能存在问题的企业,通过与线 下采集数据对比,确定企业排污异常状况,提升企业排污监管效率。大数据技术的关联分析, 能够发现现象背后的规律,提高生态环境治理的精准性和有效性。大数据能够变革社会治理 的思考方式,将成为提高生态环境治理能力现代化的一个有效的手段。把大数据引入政府治 理,是管理现代化的必然要求,也是提高生态环境治理能力现代化的新途径。 212 (2)促进环境管理科学决策 在当今互联网时代,大数据时代,大数据应用加速推动政府部门信息资源的开发利用, 推动政府部门及企业管理创新。利用大数据技术能够对环境管理中看似相互之间毫无关联的 信息,碎片化的信息,反映问题某个方面表面现象的信息进行关联分析,从中发现趋势、找 准问题、把握规律,实现政府及企业“用数据说话,用数据管理,用数据决策”,推动各类问 题的有效解决。 通过大数据分析技术,企业以污染物排放数据分析为基础,挖掘生产各个环节与污染物 排放的关系确定污染物排放,尤其是行业特征污染物强相关的环节;针对原材料分析,确定 原材料结构与污染物排放的关系,指出原材料结构的优化方向;针对生产工艺分析,透视出 各参数与污染物排放之间的规律,得到工艺参数调整的方法;针对产品组合分析,发现污染 物排放大的产品,进行重点改良。 大数据应用在加强环境管理和公共服务,分析污染物排放状况,分析环境质量的现状及 其变化趋势,准确预测、预报、预警环境质量,准确预测、预警各类环境污染事故的发生、 发展,提高环境形势分析能力等方面发挥着越来越重要的作用,成为促进环境管理和科学决 策的新动力。 (3)推动环境监管创新 环境监管是环境保护部门履行的一项基本职能,是实现环境保护目标的重要保障。随着 环境问题越来越复杂,实现环境质量明显改善的目标要求越来越紧迫,环境监管的难度越来 越大。面对环境监管对象复杂、范围广泛、任务繁重、社会关注度高、影响面大的现实问题, 仅靠人员有限的环境执法队伍,通常的执法手段难以应对当前的监管要求。迫切需要转变思 维观念、创新监管手段,运用信息化手段打造新的监管利器,实现环境监管能力现代化。 大数据能够整合发改委、工信、工商、税务、质监、银行、海关、交通、商务等部门有 关污染源企业信息,以及社会公众举报的信息,通过综合分析,以环境质量可视化为手段, 增进公众对于区域环境的感知深度。以环境质量监测站数据为基础,构建多指标体系衡量区 域环境质量。结合公众参与,可以发现环境监测数据造假、未批先建、违法偷排等环境监管 漏洞,提高执法的精准性,提高环境监管水平,缓解政府机构的监管压力。 213 6.12.2.2 需求分析 中共中央关于制定国民经济和社会发展第十三个五年规划的建议明确提出拓展网络经 济空间。实施“互联网+”行动计划,发展物联网技术和应用,发展分享经济,促进互联网和 经济社会融合发展。实施国家大数据战略,推进数据资源开放共享。并对涉及民生的农业、 教育、环保等领域提出了明确的信息化建设任务。 随着移动互联网的发展,社交软件将人与人的交流变得更加便捷和智能,重构了人与人 之间的关系和沟通方式。云计算的出现更是要求从根本上打破原有部门体系的束缚,大大提 高了运行效率,节省硬件资源。而大数据的提出,从数据本身,要求打破原有部门职能的界 限,要求各部门共享自身数据,用数据驱动部门间业务协同、业务创新、服务管理决策,具 有宏观性、全局性、战略性和系统性特征。 环保大数据产业发展需求分析: 1)针对环境治理、综合环境决策、跨部门协同管理、个性化的公众信息服务等需求, 建设全方位环保大数据服务平台。 2)建立环境信息公布制度的提出,充分发挥公众服务的功能需求,需要建立数据共享 平台,信息公开,调动公众力量,保障公众知情权,保障公众参与环境管理,建立政府公众 共治体系。 3)针对环境保护的业务运行、数据传输、视频会商、应急指挥等各类应用需求,构建 基础网络平台,全国监测信息将在专网基础上,延伸到企业端,对每一个环境管理行为监控, 对企业生产和排污的全生命周期进行监控,形成环境管理闭环,为监察监测和执法提供依据。 4)为破解地方政府干预、统筹解决跨区域环境问题,需建立互通共享机制,实现信息 流通,依赖大数据提供实时、全面、准确的信息。 6.12.2.3 环保大数据应用市场规模 在海量数据的基础上,大数据技术的深化应用也必将驱动环保大数据应用。2014 年环 保大数据为 2.59 亿元,截止到 2015 年,环保大数据应用市场规模已达 4.60 亿元,在 2016 年,环保大数据应用市场规模可达 8.10 亿元。 214 图表 114:2014-2020 年环保大数据应用市场规模 (数据来源:贵阳大数据交易所) 6.12.3 环保大数据应用案例 大数据浪潮席卷全球,不仅在信息技术行业备受瞩目,更成为变革科研、商业、政府运 作方式乃至改变人类思维方式的一个热点。在环境保护领域应用大数据技术可以视为建立创 意与实用兼具的环境治理模式的崭新开始。 借助大数据采集技术,可以将收集到大量关于各项环境质量指标的信息,通过传输到中 心数据库进行数据分析,直接指导下一步环境治理方案的制定,并实时监测环境治理效果, 动态更新治理方案。通过数据开放,将实用的环境治理数据和案例以极富创意的方式传播给 公众,通过一种鼓励社会参与的模式提升环境保护的效果与效率。 目前,多个国家和城市逐步开始推进环保大数据建设,并取得了一定的成效,其建设内 容各具特色。现将国内外典型的应用案例简介如下: (1) 智慧的垃圾治理 近年来,拥有陆地面积 1.6 平方公里、居民 1.8 万人的哈姆滨湖城,成为斯德哥尔摩最 大的近郊发展项目,其目标是打造成为未来城市发展的标志和典范。在环保大数据应用方面, 其垃圾分类处理及废弃物回用项目建设颇具特色。 在哈姆滨湖城,能看见一排电子垃圾桶,分别用于接收食物垃圾、可燃物垃圾以及废旧 报纸等不同类别的垃圾。垃圾桶通过各自的阀门与同一条地下管道相连,阀门分别在每天自 215 动打开两次,不同类别的垃圾进入地下管道,并以每小时 70 公里的速度被输送到远郊,在 电脑的控制下自动分离并输送到不同的容器里,按需要循环利用。整个过程都是通过电脑控 制。这个系统提高了垃圾传输和处理速度以及再利用效率,环境保护程度也相应提高。 (2) 虚拟河流 ,智慧的水环境治理 大数据应用在环境保护有两个亮点,首先是 360 天×24 小时的不间断环境变化监测, 其次是基于可视化方法的环境数据分析结果和治理模型的立体化展现。通过虚拟的数据,模 型可以模拟出真实的环境,进而测试制定的环境保护方案是否有效,这种极具创意的环境治 理方式已经在多个国家得到应用。 纽约曼哈顿的哈德森河(Hudson River), 全 长 500 公里,在过去 20 年里受到城市生活 污水和工业废水的严重污染。上世纪 80 年代,为恢复哈德森河的生态系统,纽约州政府发 起 “新一代的水资源管理计划”。他们在河流的全程都安装了传感器,这些传感器把水中不 同层面、各种物理、化学、生物数据包括河流中的盐度、浊度、叶绿素和颗粒物粒径等信息, 实时地通过网络传递到后台的计算中心区,在水面之上的传感器则负责收集河流的风向和风 压数据。数据像流水一样不间断地生成,不间断地被处理,并与历史数据进行比对。 在后台的计算中心区,传感器将从河中与周边环境收集到的数据以实时连续的方式传送 给系统管理层,之后,河流的不同类型数据被清洗,消除数据的异源性,使数据一致化,并 具有互通性,然后在分析管理平台对这些数据进行可视化的展现。这样,在电脑显示屏上, 各种数据就汇成了一条虚拟的哈德森河,河水的污染情况、成分变化,一目了然。由此,便 可利用这些处理过的信息模拟一个哈德森河的环境模型和治理方案,评估不同的治理方式和 人为干预对于哈德森环境的影响,以保证在实际治理时的效率和效果。经过多年治理,哈德 森河流现已恢复其清澈的水质和优美的环境。 (3) 污染地图,向公众发出邀请 2006 年,马军创立公众与环境研究中心(IPE),主持开发了“中国水污染地图”、“中 国空气污染地图”和“固废污染地图”,建立了国内首个公益性的水污染和空气污染数据库, 将环境污染情况以直观的图表形式展现。在中国公众环境研究中心的网站上,点击地图后, 可以访问每个地区的环境质量信息、地区排放信息、企业监管信息等。通过这个公益数据库, 任何一个用户都可以进入全国 31 个省级行政区和超过 300 家地市级行政区的相应页面,检 216 索当地的水质信息、污染排放信息和污染源信息,包括超标排放企业和污水处理厂信息。 马军及其团队持续对水污染的数据库进行更新。从 2006 年第一次发布水污染地图数据 库至今,“中国水污染地图”已经列出了超过 13 万条的企业污染纪录,而空气污染地图也列 出了 13000 余条企业违规超标纪录。为了鼓励这些企业切实改进,中国公众环境研究中心制 订了审核标准,一些有能力的机构可以对其审核,以判断问题是否解决,管理体系是否到位, 污染处理设施是否齐全,最终确定企业是否能稳定持续的达标排放。 (4) 智慧水务 智慧水务通过数采仪、无线网络、水质水压表等在线监测设备实时感知城市供排水系统 的运行状态,并采用可视化的方式有机整合水务管理部门与供排水设施,形成“城市水务物 联网”,并可将海量水务信息进行及时分析与处理,并做出相应的处理结果辅助决策建议, 以更加精细和动态的方式管理水务系统的整个生产、管理和服务流程,从而达到“智慧”的 状态。 国内多个城市都已经开展智慧水务建设实践,并取得显著成效。以武汉为例,武汉市污 水处理综合运营管理平台,依托云计算技术构建、利用互联网将各种广域异构计算资源整合, 以形成一个抽象的、虚拟的和可动态扩展的计算资源池,再通过互联网向用户按需提供计算 能力、存储能力、软件平台和应用软件等服务。系统可以对污水处理企业的进、产、排三个 主要环节进行监控,将下属提升泵站和污水处理厂的水量、水位、水质、电耗、药耗、设备 状态等信息通过云计算平台进行收集、整合、分析和处理,建立各个环节的相互规约模型, 分析生产环节水、电、药的消耗与处理水排水、生产、排放之间的隐含关系找出污水处理厂 的优化生产过程管理方案,实现对污水处理企业生产过程的实时控制与精细化管理,达到规 范管理、节能降耗、减员增效的目的。 6.12.4 环保大数据重点企业分析 经过几年的布局和积累,2015 年开始,国内逾十家企业在大数据环保领域取得快速发 展,依据其相关业务规模和未来发展潜力,做出如下排名: 217 图表 115:2015 年环保大数据应用企业排名与分类 排名 企业 类型 1 启迪桑德 综合性环保产业平台 2 雪迪龙 环境监测设备生产与供应商 3 万达信息 IT 软件服务商 4 聚光科技 环境监测设备生产与供应商 5 东软集团 IT 软件服务商 6 延华智能 IT 软件服务商 7 先河环保 环境监测设备生产与供应商 8 长天思源 物联网企业 9 中科怡海 物联网企业 10 中科宇图 物联网企业 (来源:贵阳大数据交易所) 上述公司及其智慧环保业务简介如下: (1) 启迪桑德 基于智慧环保的战略发展思路,启迪桑德积极布局城乡环卫一体化及再生资源的回收与 利用等市场领域。2014 年初,公司推出“互联网+环卫一体化运营平台”颠覆传统环卫业务 模式,重构环卫产业链,面向政府和公众提供从道路清扫保洁、垃圾收运到垃圾处理的综合 服务,并借助桑德云平台对环卫作业、垃圾分类收集、废旧物资回收等进行智能化管理,提 供实时环卫数据。再生资源产业领域,公司借助移动互联网、大数据、物联网、云平台等现 代技术积极布局,将线上线下打通融合、产生系统效应,整合信息流、资金流和物流,形成 完整的再生资源产业链生态系统。2015 年,公 司 智慧环卫业务发展渐入佳境,实现营收 2.96 亿元。 2016 年 4 月,启迪桑德定增 95 亿元用于加码环保主业,其中 59 亿元用于加速布局“互 联网+环卫一体化运营平台”项目。预计 2016 年-2018 年,桑德环卫将在全国成立基础环卫 运营项目公司 230 个 ;至 2025 年,其环卫市场业务规模将超过 1000 亿元,桑德环卫云平台 系统市场占有率将达到 30%。运用信息化手段,通过整合打通固废、市政环卫与再生资源 回收领域产业链条,启迪桑德有望打造中国最大的综合性环保产业平台。 218 (2) 雪迪龙 雪迪龙通过参股思路创新及长能大数据公司,逐步确立智慧环保领域龙头地位。智慧环 保业务目前推广软件平台为主,再以软件的应用促进监测设备的销售与推广。2014 年,公 司中标大同市智慧环保信息化平台一期项目,投资额约 2000 万。2015 年,公司与清新环境、 中电远达等共同出资设立重庆智慧斯特环保大数据有限公司,总投资 5000 万,其中公司出 资 750 万,开展环保数据咨询、环境信息服务等业务。2016 年 2 月,公司承接的国家重大 专项“VOCs 在线/便携监测设备开发和应用”项目,已进入样机阶段,未来完全国产化的监 测系统将大规模推向市场。 (3) 万达信息 在智慧环保领域,万达信息股份有限公司依托环保综合云,整合环保业务、数据、流程 和设备,形成以物联网和大数据应用为核心的“智慧环保”解决方案。为政府提供精准的物 联监测数据和多元的智慧监管手段,利用多模式环境质量模型以及大数据分析,科学决策污 染管控方案,实现对污染源和环境的的精细化管理;对企业进行污染排放管控监督和环保行 为信用评价;满足公众的环境状况知情权、监督权,参与权,提升环境数据在公众服务领域 的应用和共享价值。 (4) 聚光科技 聚光科技(杭州)股份有限公司环境大数据资源中心采用虚拟化和商业智能等大数据处 理技术手段,实现各类环境数据的有机整合、数据共享和深度应用,为环境管理、环境信息 公开提供数据服务和信息支撑。具体包括: 空气质量大数据分析系统:集成空气质量监测网络常规数据、超级站数据、气象预报数 据、空气质量预报数据,通过相关分析、回归分析、时间序列分析等统计分析方法,结合联 机分析、关联规则发现、神经网络、支持向量机、K 均值算法、时间序列聚类分析等数据挖 掘算法,识别及发现气象因子、常规污染因子、大气细粒子、光化学烟雾、二次污染物的形 成及相互转换规律,指导区域源解析、源清单编制优化工作。 环境事故应急防控系统:面向政府职能部门,特别是环保行政主管部门应对突发环境事 件的综合管理平台,系统帮助用户预防突发环境事件的发生,提高应对能力,做到判断准确、 219 措施有效、处置及时,最大限度降低突发环境事件带来的灾害和损失。 流域水质环境安全预警平台:流域水环境安全预警平台根据流域的环境特征和常见的突 发性水污染事件的特点,引入水质预测模型对流域的水质现状及未来变化趋势进行分析、预 测模拟,为水环境规划和管理提供科学依据与决策支持。 (5) 东软集团 东软集团股份有限公司通过多年的环境信息化实践,成功打造了“数字环保”整体解决 方案。东软机动车排气污染监管解决方案、东软固废监管解决方案、东软环境应急管理解决 方案、东软环境数据中心解决方案等有效提高中国环保部门的环境监测、监管、应急、预警 能力,为节能减排、优化经济、生态发展提供了信息化支撑。 (6) 延华智能 上海延华智能科技股份有限公司将“互联网+”行动计划与解决环保污染问题相结合, 布局智慧环保行业,注重行业上下游整合,业务涉及大气监测与治理、水环境监测与治理、 土壤监测与修复、环保信息化等领域。提供过程咨询、规划设计、软硬件定制开发、项目实 施、系统集成以及维护全过程服务。 (7) 先河环保 先河环保“全防全控联防联控智慧环保软件平台”整体解决方案,以环境监测、污染源 监控、生态保护、环境安全等信息为基础,基于数字化的信息与通讯技术,应用先进的环境 监测设备、计算机软件、地理信息(GIS)、定位(GPS)和网络传输等技术手段,建立完善 的信息管理、领导决策支持、监控预警网络和办公自动化系统。 (8) 长天思源 广东长天思源环保科技股份有限公司依托云计算、物联网、大数据技术,为政府、企业、 公众提供智慧环保物联网服务整体解决方案,实现环保管理全业务应用体系集成,涵盖环境 在线监控系统、VOC 自动监测和综合治理、环境第三方检测等业务。 长天思源“智慧环保”物联网云服务平台,采用“云计算”技术,集成整合污染源在线 监控、环境质量、总量控制、环保政务信息、公文等等各类环境管理数据,为用户提供感知 220 即服务(AaaS)、基础设施即服务(IaaS)、数据即服务(DaaS)、平台即服务(PaaS)、 软 件即服务(SaaS)、运维即服务(MaaS)等服务。 长天思源“智慧环保”物联网解决方案。环境在线监控是重要的领域物联网,目前,污 染源自动监控系统是业内公认的全国最大的物联网,是一项重要的环境基础设施,其建设目 标是:更为全面透彻的感知终端网络、更为标准完善的环保数据中心、更为智能化可多方参 与的管理应用平台、更为灵活包容的综合信息门户。 (9) 中科怡海 中科怡海高新技术发展江苏股份公司现已经形成智慧环保、智慧城建、智慧水利、智慧 教育等自主产权的物联网整体解决方案和核心传感器产品。 中科怡海智慧环保物联网解决方案,有机整合感知节点以多网融合的方式形成统一的环 境监测监控传感网络;以应用支撑和数据中心为核心进行建设,最终形成业务应用支撑能力 和数据综合管理能力;建立监测预警系统、污染源监控系统、环保电子政务系统、环境应急 指挥系统和教育展示互动系统五大智慧应用系统,以环保业务应用和信息资源综合分析与决 策服务为主体,全面提升环境管理智能化水平。 由中科怡海承接的无锡市环保局“感知环境,智慧环保” 国家物联网示范项目,将“数 字环保”提升为“智慧环保”,为制定新一代环保行业信息化标准体系和规范做出引领性行 业示范。该项目已经通过由国家环保部组织召开的“感知环境、智慧环保”环境监控物联网 应用示范工程论证会、国家发改委授予“国家物联网应用示范工程”。 (10) 中科宇图 中科宇图科技股份有限公司凭借多年在地理信息与环境领域的应用基础及先进技术,自 主研发了“天空地一体化环境应急监控与管理系统”“环境监察移动执法系统”“空气质量保 障预测预报集成系统”“山洪灾害监测预警系统”“中小河流水文预报预警系统”等系统应用; 并依托大数据背景,建立了一套地图、一类服务、一种机制的大地图运营体系,打造大地图 数据服务、无人机采集体系等大地图系列平台应用;同时,自主研发了微保移动应用产品、 环境智能硬件产品等公众服务的环保系列产品。 221 6.13 媒体大数据应用现状分析 近年来传统媒体逐渐势微,而依托于互联网的新媒体却蓬勃发展,随着新技术、新设备 的研发投入,媒体产业的结构发生了翻天覆地得变化。传统媒体的话语权、内容框架被重新 定义,媒体融合成为将来中国媒体的必经之路。随着大数据、云计算以及智能化设备的不断 升级,越来越多的人群机构加入到信息传播过程中,媒体产业逐渐向“去中心化”以及“去物 理依赖”转变。传统媒体大多有十几年甚至几十年的历史,其积累的内容资源可谓是一笔宝 贵的财富,却也成为转型的负担。新媒体由于其天然的互联网属性,在内容、用户以及运营 三方面积累了大量的数据资源,得益于当前迅猛发展的大数据技术,使得各企事业单位可在 浩如烟海的数据中提取出有用的价值信息,如在新闻选题、电影主题及演员、在线视频新闻 推送、用户喜好等方面的挖掘分析,方便企业更清晰地规划业务,理解用户、引导用户、以 及吸引用户。 图表 116:媒体大数据商业模式 (来源:贵阳大数据交易所) 6.13.1 媒体大数据现状 人类社会共有四种信息载体,分别是文字、图片、声音以及视频,现在均已实现数字化 存储。当前,企业及互联网数据以每年 50%的速率在增长,据 Gartner 预测,到 2020 年, 全球数据量将达到 35ZB,等 于 80 亿块 4TB 硬盘。数据结构变化给存储系统带来新的挑战。 非结构化数据在存储系统中所占据比例已接近 80%,媒体的数据多是非结构化,且具有极 大的价值。 222 现代社会,用户终端变得日益丰富,从刚开始的报纸、电视,发展到今天的智能手机、 平板电脑、智能穿戴等,不仅使得信息的传播方式多样化,更要求媒体提供较强的个性化优 质服务。大数据时代,数据成为媒体的核心资源,数据不仅是媒体报道的内容,也成为受众 分析的依托。对媒体产业而言,其价值主要体现在两个方面:一是内容数据,二是受众数据。 6.13.1.1 内容数据 在互联网发展之前,由于媒介的物理限制,信息的传播方式、传播方向以及内容都比较 单一,而大数据的到来则完全颠覆了传媒业,我们已经从信息稀缺时代过渡到信息过载时代。 信息的爆炸性增长,为本身就是信息载体的媒体增加了更多的挑战。传统媒体具有权威性高、 公信力强、受众广泛、内容深刻以及原创性高的特点,其内容的数据价值较高,这也成为传 统媒体转型的关键。当下传媒行业处于一种新旧融合时期,新媒体自带互联网基因,但是缺 少原创性内容,传统媒体缺乏互联网技术,但是内容较强,双方的融合可以相互补短。 (1)原创性为主的传统媒体 通过融媒体应用解决方案,实现内容跨界共享,通过大数据技术,最大限度地提取出内 容的价值。 如广电行业,芒果 TV 率先实现了“一云多屏、多屏合一”,以视频网站和互联网电视为 两大核心主营,包括了电脑、平板与手机的多终端芒果 TV 视频、芒果 TV 互联网电视、湖 南 IPTV 以及移动增值业务,构建了全媒体发展互联网媒体平台。目前芒果 TV 的大数据系 统,日数据收集量已经达到十亿 GB 级别,为跨屏运营提供了研究基础。 如纸媒行业,《人民日报》依靠强大的内容生产实力和大规模的投入,建设起以“中央厨 房”全媒体生产平台为基础的新的媒体生产系统,实现了从传统单一的纸质媒体,演变为融 合报纸、期刊、网站、微博、微信、客户端、电子阅报栏、二维码、手机报等多种传播形态 的现代化全媒体矩阵,通过应用大数据分析的融媒体应用解决方案,实现了多媒介内容发布、 多平台账号管理、自定义共享素材库、新闻传播分析四位一体的整合传播应用。作为以云计 算、大数据为代表的新一代信息技术创新成果,融媒体应用解决方案为传统媒体跨界发展提 供了有效手段,成为助力媒体实现融合变革的综合产品。 (2)渠道性及服务性为主的新媒体 223 这类媒体自己生产内容很少甚至不生产内容,仅通过提供信息渠道,将用户吸引过来, 把规模做大,通过渠道再来反向进行内容规划推送,挖掘价值。比较有代表性的有门户网站、 微信公众平台、虎嗅网、知乎等。 如“今日头条”做为一款基于数据挖掘的推荐引擎产品,旨在为用户推荐有价值的、个性 化的信息,提供连接人与信息的新型服务。作为数据新闻平台,“今日头条”与一般数据新闻 的区别,在于提供一个媒介平台,展示汇总的信息,而不是一条信息。“今日头条”背后依托 一整套推荐引擎,用户在使用微博、QQ 等账号体系登陆后,机器算法会以关键词等元素判 断用户的兴趣爱好,从全网抓取内容,并实现新闻、博客、问答等泛媒体内容的个性化推荐。 如国外一家名为 Narrative 的公司,只有 30 名员工,运用 Narrative Science 算法,大约 每 30 秒就能够撰写出一篇新闻报道。腾讯财经财经去年利用自身开发的自动化新闻写作机 器人,根据算法在第一时间自动生成稿件,瞬时输出分析和研判,一分钟内将重要资讯和解 读送达用户。 6.13.1.2 受众数据 大数据时代,信息爆炸性增长,受众作为信息的接收者,其接受有用信息的概率在不断 降低。受众在互联网上留下大量的价值数据,包含“基本属性”、“行为特征”、“心理特征”、 “购买能力”、“社交网络”、“兴趣爱好”等方面,通过分析这些海量的数据,可以为媒体在制 作内容时提供一个可靠的依据。 (1)行为数据 通过分析用户对产品的行为动作,可以发现某些有趣的规律。 如 Netflix 制作的美剧《纸牌屋》,其网站在美国有 2700 万订阅用户,在全世界则有 3300 万,每天用户在 Netflix 上产生 3000 万多个行为,比如暂停、回放或者快进时都会产生一个 行为,Netflix 的订阅用户每天还会给出 400 万个评分,还会有 300 万次搜索请求,询问剧 集播放时间和设备。Netflix 通过分析这些海量数据,确定出观众喜欢的桥段、演员以及导 演,推出了这部在美国及 40 多个国家成为最热门的在线剧集。 如当下流行的网剧,视频网站通过收集网站上产生的用户行为:如用户会在哪里暂停、 回放、快进等,如果大量观众都在某一个节点做了快进或者回放的动作,就能判断用户喜欢 224 或讨厌的桥段,并以此指导自制剧的生产。此外,视频网站还会搜集用户在网站上的收视行 为,根据这些行为将用户进行分类和“画像”,并据此进行针对性的广告投放。 (2)规模数据 根据中国互联网络信息中心(CNNIC)的最新统计报告,截至 2015 年 12 月,我国网 民规模达 6.88 亿,全年共计新增网民 3951 万人,互联网普及率为 50.3%。我国手机网民规 模达 6.20 亿 ,较 2014 年底增加 6303 万人。网民中使用手机上网人群的占比由 2014 年 85.8% 提升至 90.1%,手机依然是拉动网民规模增长的首要设备。仅通过手机上网的网民达到 1.27 亿,占整体网民规模的 18.5%。随着 4G 的大规模推广和应用,未来的手机网民规模必将迅 猛增加。媒体要实现自身的真正转型,就必须以用户为中心重建用户连接,进而重构自身的 内容输出模式和创新盈利模式;而要用户连接,既需要通过自身的数字化尽可能地抓取用户 信息,又需要创新媒介内容和形式激发受众主动地阅读及分享,不断拉近媒体和用户之间的 距离。 图表 117:中国网民规模和互联网普及率 225 图表 118:中国手机网民规模及占网民比例 互联网及移动网络细分应用市场的受众人数一直处于增长状态,论坛在移动端的人数增 长较快,与之相反的是,在电脑端的使用人数却出现大幅下滑。从应用市场分析,即时通讯 人数占据首位,在这其中包含微信、QQ 等应用,新闻应用人数排列第二,说明网民现在以 新媒体为平台去了解外界信息。音乐应用在移动端使用人数超过视频应用,在电脑端情况却 恰好相反。移动端同比增长较快的前三个应用分比为视频、新闻及文学,用户的数量均过亿, 庞大的注册用户信息,可以为企业提供足够多的数据资源。传统媒体转型,可依托于移动端, 从用户喜好、多屏联动等方面不断深挖,通过抢占移动平台,重新连接用户。 图表 119:网络媒体细分市场受众 226 6.13.2 媒体大数据应用市场规模 6.13.2.1 媒体大数据应用市场规模及需求分析 媒体大数据应用主要表现在提供更符合受众需要的节目,个性化的传媒服务等层面,而 且应用领域也会继续增加,市场规模会持续增长,贵阳大数据交易所预测 2016 年中国媒体 大数据应用市场规模将达到 14.8 亿元。 图表 120:2014-2020 年媒体大数据应用市场规模及增长趋势 网络和数字技术的快速发展,带来媒体格局的深刻变革。数字新兴媒体发展之快、覆盖 之广超乎想象,“数字化”正以旋风般的速度带给媒体行业转型升级三大价值,而传统媒体由 于用户广告规模双双下降,大数据技术在媒体行业的应用也满足了传统媒体的破局之需。 图表 121:2012-2016 年中国传统媒体广告市场规模 227 图表 122:2012-2016 年中国新媒体广告市场规模 (1)与用户建立更为紧密的连接价值 大数据时代,媒体产业面临的一个很大的问题是用户连接失效。媒体要实现自身的真正 转型,就必须以用户为中心重建用户连接,进而重构自身的内容输出模式和创新盈利模式; 而要用户连接,既需要通过自身的数字化尽可能地抓取用户信息,又需要创新媒介内容和形 式激发受众主动地阅读及分享,不断拉近媒体和用户之间的距离。 (2)传统媒体行业将继续通过跨界融合实现转型 在国外,早在 2013 年全球电商平台亚马逊创始人贝索斯个人以 2.5 亿美元收购受巨亏 影响的美国报纸《华盛顿邮报》,被收购后的《华盛顿邮报》一直扩展数字业务,创造新的 收入来源;在国内,阿里巴巴在2015年以12亿元入股上海文广旗下第一财经传媒有限公司, 阿里巴巴和上海文广将在新媒体和金融信息服务领域实现战略合作;同样在 2015 年,杭州 报业集团旗下的上市公司华媒控股与领先的“互联网+”解决方案提供商泰一指尚签署《战略 合作框架协议》,双方以互联网核心技术为驱动,优化整合资源,共同打造全新的互联网媒 体平台,构建代表未来发展趋势的产业模块。由此可见,在“互联网+”的大时代背景下,传 统媒体的数字化是大势所趋。 跨界合作盛行,全媒体融合继续演进互联网和传统媒介,内容和营销的边界也逐步模糊。 通过信息技术对传统产业的整合,特别是数据技术与传统产业的深度融合,形成了新的内容 生产方式,实现了媒体产业自身的数字化升级,也彻底创新了媒体产业的作业模式。 228 (3)大数据技术是提升媒体行业竞争力的关键要素 大数据技术给传媒带来的最大的思维变革,其一,在于能够通过数据挖掘等方式,实现 对读者和受众个性化需求的准确定位和掌握;其二,在于能够通过技术手段低成本地实现信 息和受众个性化、定制化需求之间的智能化匹配。以 Facebook 为例,Facebook 借助大数据 技术收集社交平台上的热点信息,通过不间断的监控,采集最受用户关注、转发量最大的热 点信息,加工形成新闻产品或原生广告向用户推送。 6.13.2.2 大数据在广电媒体运营管理中的应用 广电行业作为传媒的重要组成部分,在新闻传播、文化宣传过程中发挥着重要作用。然 而,随着互联网时代传播载体、传播内容的爆发式增长,特别是微博、微信等社交网络和新 媒体的快速发展,对传统广播电视体系的冲击越来越明显。同时,随着数字化和国家三网融 合战略的开展,传统广电运营商由原来的单一网络运营商向多媒体网络及信息服务运营商转 变,广电业务也向着移动互联网等新媒体拓展。如何通过大数据系统对海量数据进行挖掘, 掌握用户的消费喜好、消费层次、成员构成、年龄范围等,提高运营商的服务层次和运营能 力,将成为广电运营商优化现有商业模式、创造新型商业模式、提高运营效率和服务质量的 重要战略举措。 图表 123:广电媒体大数据运营管理模式 (来源:贵阳大数据交易所) 在广电行业运营中,大数据应用能够使用户的决策力、洞察发现力和流程优化能力方面 得到帮助。广电媒体的传统数据分析主要是依靠随机抽样用户方式的收视率调查,这种数据 229 采集和分析方法已经无法满足双向收视数据的要求,特别是互动视频点播等增值业务及相对 小众频道的调研分析。而且网络公司的各种资源管理也逐渐趋向数字化,业务运营支撑系统、 网络资源管理系统、媒体资产系统等都可以成为用户数据分析的一部分。因此,大数据技术 的发展让广电媒体更广泛更多样的数据采集成为可能,传统的电视收视分析必将演变成用户 的行为数据分析,应用层面也随之扩大到不同的领域。让广电媒体的业务经营分析、管理变 得有据可依,决策的能力也相应提高。 (1)节目精准推荐 广播电视平台借助于大数据处理分析系统,利用收集到的客户信息,如兴趣、年龄、知 识结构等,通过大数据技术对播出节目内容和后台进行关联分析、聚类分析,根据用户换台、 节目收看时段、节目选择类型以及业务运营支撑提供的用户消费信息等海量数据的分析,可 以得出更加有效的运营推动策略,可以在用户观看电视节目的时候有针对性地向用户推荐类 型,动态修改每个用户机顶盒中的接入界面及菜单显示内容,将用户最感兴趣的内容放置到 容易获取的地方,实现对内容的精准推送。推送的内容不仅限于视音频节目,还可以是电子 商务信息、广告以及其他动态信息等,从而大大提高了用户界面的利用效率,拓宽了运营商 在有限的用户接触界面所能提供的信息渠道。 (2)智能广告投放 传统的数字电视广告保留音量条广告、换台广告、贴片广告等,通过大数据技术的应用, 广告的投放可以比以前更加智能化,更加具有针对性。一方面通过对于电视频道当前播放节 目内容类型的分析,进而为该时段该频道的相关广告位投放关联广告,如毛巾与体育运动, 金融服务与财经栏目、护肤品与时尚栏目相关联的频道与时段。在另一方面,系统可以对于 用户收视习惯、用户身份以及行为喜好进行实时分析,以便投放与之相应的广告。 (3)收视率预测与导视 电视节目收视率和网络媒体讨论量存在着正向关系。网络媒体讨论量,可以成为预测电 视收视率的重要指标。同时,对于节目推广而言,参与节目话题讨论的用户,不是电视观众, 就是网络视频观众。这些用户 ID,都是此节目的受众。如果针对这些用户投放广告或推送 内容,效率就会很高。收视率数据产品,既能为政府部门提供舆情宣传效果、舆情动态等维 度的数据分析报告;也能为广告商服务,通过广告刊播情况统计分析,为广告主提供电视媒 230 体广告曝光量、点击量、转化率等相关数据信息,进而有效地调整广告投放策略。 (4)台网联动跨平台营销 随着电视与网络平台的互补价值不断凸显,“台网联动”已成为网络媒体与传统电视媒体 走向融合的重要特征。微博就已经在尝试台网联动的营销解决方案。具体过程为,微博将热 门电视节目设定为“热门话”,在 PC 端和移动端设置话题入口,逐步打通微博、QQ 空间、 人人网、开心网等全网平台进行广度的推广,扩大宣传的覆盖面,构建立体化、全覆盖的跨 平台传播环境,吸引网友进入“热门话题页”,引发网友分享与互动,进一步放大冠名电视节 目的企业营销权益。 6.13.2.3 大数据助力平面媒体数据资源优化 大数据深刻影响着传媒企业的利益链条和管理理念,影响着读者的生活习惯和思维方式, 迫使报纸、广播、电视、互联网等大众传媒做出相应的改变。与其他媒体相比,以报纸为主 的纸质媒体在及时性等方面有所欠缺,但在公信力方面却具有一定优势。随着报业平台的核 心优势被广大企业发现和深入挖掘,平面媒体作为整合营销重要的地位将越来越明显。媒体 的集群化,对于平面媒体的应用,已经从单纯的广告投放上升到以平面媒体为中心整合各种 传播手段,形成以主流报媒为核心的立体化传播,我们能从被动的面对媒体碎片化到有策略 地找到主流报媒作为区域整合传播的核心。因此,纸质媒体如何发挥自身优势,在大数据时 代存续并发展下去,成为传媒企业关注的焦点。 图表 124:平面媒体大数据运营应用场景 (来源:贵阳大数据交易所) 231 (1)媒体数据质量筛选 大数据的数据收集体系利用大数据平台,一方面依赖于海量信息改变传统媒体;一方面 运用高效、低成本的大数据处理技术,并且可以通过各种支付手段实现智能化收费。利用基 于云计算而形成的服务,实现从数据到信息再到知识的转变,根据不同的需求进行整合和分 析,发现潜于数据之下的规律,对未来做出预测。根据大数据的特性,数据云平台只需明确 它们之间的关联关系,从而让传统媒体的信息更加客观。最终通过技术手段大大提升媒体数 据的质量,增加新闻的可信度以及科学性。 (2)媒体数据融合优化 通过建设网站及手机媒体等方式,实现多介质的全媒体的传播。立足于发展,传统媒体 建设起自己的融合音频、视频的全媒体数据,已成为大势所趋。同时,切入大数据时代的数 据分析技术,建立起自己的用户数据库,即可实现全媒体数据的深度加工与融合挖掘以及数 据增值。 (3)用户特征与行为分析 在传媒企业内部建设统一的数据资源存储平台以及全媒体资源库的框架下,以企业的全 媒体资源库为基础,利用大数据的技术和工具,打造融合集团文字、图片、音频、视频等内 容的全媒体大数据库,并采用大数据的分析手段,对全媒体内容数据进行聚合、分类、专业 分析等处理,逐步形成符合产品需求的分类及标签体系,其中包括内容基本属性标签、用户 自定义标签等。然后通过推出的各类移动客户端产品,尝试移动互联网领域的客户管理和分 析。以媒体用户数据库作为数据源之一,根据互联网用户特征扩大和构建用户资料的数据库, 对用户做特征识别和 360 度画像,打上客户标签,实现用户和客户需求的精准对接和管理。 6.13.2.4 大数据促进新媒体营销方式大变革 大数据的出现给新媒体公司的技术开发和数据处理能力,带来了极大挑战。大数据潜在 商业价值的挖掘,不仅要求新媒体公司使用专门的数据库技术和专用的数据存储设备,而且 在营销方面更要有创新的数据分析方法和使用体系。目前,业内流行的一般数据挖掘方法和 通用营销手段已经无法满足网络时代的冲击。而且,新媒体公司的营销创新需要大数据挖掘 分析方面的大量高端专业人才,比如数学和统计学家、社会网络学家、社会行为心理学家等。 232 对海量数据的分析能力和创新营销的理解,不能仅仅局限在一般数据规律和方法的把握水平 上,而且要有理论思维和全局的深入分析和整合能力。 图表 125:新媒体大数据营销创新应用场景 (来源:贵阳大数据交易所) (1)热点挖掘营销 借助大数据技术,新媒体企业可以通过用户在移动端的搜索、浏览、阅读、分享、点击 等行为,进行数据深度挖掘,判断用户的网络环境,进而完成给网友扩散信息这一动作。通 过梳理话题倾向,企业确定目标用户、增加销售转化、制定个性化营销策略。通过用户数据 收集、切入话题、制造用户偏好和倾向话题,以个性化的推荐方式提高下单率,同时扩大企 业的影响力,更节省了营销成本。区别于传统的营销手段,大数据支撑的精准营销具有更小 的局限性,通过用户行为记录,判断用户兴趣点、理解用户动机、增加广告覆盖度,使更少 的投入产出更高价值。 (2)营销策略整合 新媒体的整合营销可以从策略、资源、数据三个方面入手,以大数据技术推动的数据融 合为新媒体营销的核心策略,通过整合网络数据资源,进而充分利用,在线上和线下形成一 套完整的互动行为指南。即时反馈,实时更新,整合所有可以利用的媒介资源,将社会化媒 体、自有社会化媒体和获得性社会化媒体三者结合起来运用。在数据方面的整合就是要将消 费者的交易数据、流量数据、地理位置数据、搜索数据和其它第三方数据结合起来,通过综 合分析,制定以及优化营销策略,支持营销决策。 233 (3)营销关系图谱评估 在竞争日趋激烈,产品同质化愈加严重的市场环境中,消费者的选择越来越多样,这就 要求企业的经营行为必须以客户为出发点,同时客户也是客户关系管理的核心思想。通过社 会化媒体平台,企业可以进行社会化客户关系图谱管理。消费者会主动通过媒介互动告诉企 业他们的兴趣爱好,和他们希望得到的服务类型、服务层次和服务产品,企业可以根据新媒 体大数据分析的关系图谱进行对客户的管理和营销。因此,企业通过客户关系管理可以更好 地与消费者沟通,完善自身的产品和服务。由于社会化媒体受众的分散性和新媒体时代的碎 片化特征,想要规模化管理则需要借助大数据技术来实现。 6.13.3 媒体大数据应用案例 (1)Netflix 用大数据捧火《纸牌屋》 Netflix 已经成为美国国内规模最大的商业视频流供应商——目前拥有 2900 万视频流客 户。这家公司同时也成为吸收新增数据的海绵——用户在看什么、喜欢在什么时段观看、在 哪里观看以及使用哪些设备观看,爆增的信息量成为 Netflix 手中的宝贵资产。他们甚至掌 握着用户在哪视频的哪个时间点后退、快进或者暂停,乃至看到哪里直接将视频关掉等信息。 现在 Netflix 公司开始推出自己的原创节目,而节目制作的依据正是刚刚提到的这些数据。 他们利用手中的数据说服 BBC 重新翻拍了《纸牌屋》;而且将演员 Kevin Spacey 与导演 David Fincher 的粉丝与原剧集支持者的粉丝进行关联,最终让这二位加盟新剧的拍摄。 Netflix 是美国处于领先地位的视频播放网站,这家成立于 1997 年的在线影片租赁提供 商主营业务是为家庭提供互联网即时媒体播放。只要登录 Netflix,用户就可以通过 PC、TV、 iPad 及 iPhone 进行节目的播放。据权威研究公司 IHS 统计,Netflix 在 2011 年的网上视频收 入就已经超过苹果,目前其在流媒体高峰下载市场上所占份额为 33%,而网站整体份额已 占北美在线电影总销量的 45%;在竞争对手中,最接近的亚马逊所占份额也仅为 1.8%。 作为大数据在娱乐工业市场的开山之作,《纸牌屋》之所以会出现在 Netflix,而不是其 他娱乐公司,还与其自身的大数据基因相关。从成立伊始起,Netflix 就把计算作为公司的 核心竞争力和发展战略的核心。通过推荐引擎、数据算法等方式,Netflix 可以提前知晓观 众喜欢看的内容,从而进行准确的影视内容采购,此外流媒体的广泛应用彻底改变了观众以 往静态守候电视节目的习惯,让 Netflix 颇为受益。 234 (2)微软大数据成功预测奥斯卡大奖 2016 年奥斯卡颁奖前夜,微软人工智能机器人小冰在微博上发布了自己的四项预测, 认为莱昂纳多•迪卡普里奥会有 73%的概率会获得最佳男主角。随着奥斯卡获奖名单的公布, 小冰的预测四测三中,成功率为 75%。 必应搜索以往曾经有过大致 3 类预测:奥斯卡、金球、格莱美等专家评选类项目的预测, 奥运会、超级碗等体育赛事的预测,以及选举、公投等政治活动预测。这 3 种不同的预测有 着各自不同的鲜明特征,因此不能一概而论。相对而言,奥斯卡这样的专家评审更加依赖少 数专业人士的意见,而政治活动则依赖民意,导致同样的搜索指标占有不同的权重。所以, 虽然用的是类似的预测模型和技术,但是不同类型的预测准确度肯定会不一致。 比如说,金球奖和英国电影学院奖,都被业界视作奥斯卡风向标。必应团队提升了此类 奖项结果的权重,相应降低了全网搜索结果的权重。同样,也正是因为奥斯卡具有专家评审 的特征,这也导致一些以少数专家思维抽样做人工智能分析的预测,能够在本次取得比较高 的准确率。当预测选择的样本数量越多的时候,就越会杜绝其中某一位评委或专家个人因素 而导致的波动或者扰动,使得整个结果更加稳定。 其实在预测奥斯卡奖项上,微软一直保持着很高的准确率。2015 年,微软纽约研究院 的经济学家大卫•罗斯柴尔德(David Rothschild)成功地根据各种数据和模型准确地预测出 了包括最佳导演、最佳影片和最佳男女主角在内的多项大奖。在 24 个奖项中,David Rothschild 仅错误预测了最佳原创剧本、最佳剪辑、最佳动画长片和最佳配乐四个奖项,83% 的准确率可谓相当之高。2014 年,罗斯柴尔德成功预测第 86 届奥斯卡金像奖颁奖典礼 24 个奖项中的 21 个,向人们展示现代科技的神奇魔力。2013 年利用大数据成功预测 24 个奥 斯卡奖项中的 19 个,在当时成为人们津津乐道的话题。 (3)定价与收益最优化管理 ——迪士尼成功背后的大数据分析 从数据整合,到模型分析,再到策略实施,有一支专业的队伍在定价、销售、营销和收 益管理等方面为迪士尼的全部业务提供数据分析支持。这些业务除了主题乐园和度假酒店外, 还包括动画电影,电视网络(美国广播公司 ABC,迪士尼频道,迪士尼 XD 频道,迪士尼 电子游戏等),音乐戏剧,游轮专线等。 235 定价与收益最优化管理是通过理解预测消费者的行为,区别定价,控制供给,并随时根 据实时需求来重新优化的过程来实现收益最大化。以迪士尼“狮子王”百老汇演出的票务动 态定价问题为例,定价系统一共分为了这么几个步骤:首先,根据过往 15 年来票房收入的 趋势预估每场演出的票房需求,得出需求价格公式,并界定合理的价格范围;其次,由剧场 大小和地形来划分区域,根据座位限制、票价档数和需求价格公式来得出最优化的票价;最 后,开放售票后,再实时观察票房表现来调整价格。 6.13.4 媒体大数据重点企业分析 从企业发展现状尤其是媒体大数据应用的战略地位、资金投入、平台建设以及应用效果 等指标进行综合分析,得出媒体行业大数据应用企业 TOP10 的名单,主要企业如下: (1)浙报传媒集团 2015 年度,浙报传媒集团实现营业收入 345,755 万元,同比增长 12.77%,净 利 润 88,245 万元,同比增长 44.32%。浙报传媒抓住国家推动实施大数据产业的政策契机,依托现已建 成的拥有 6.6 亿注册用户、600 万读者资源及 5000 万活跃用户的同行业最大用户数据库, 适时启动非公开发行募集资金 20 亿元,建设“互联网数据中心和大数据交易中心”,积极布 局国家热点领域大数据产业,培育公司新的主营业务平台;公司还整合设立“数据业务中心、 产品研发中心、新媒体运营中心、浙江政务服务网事业中心、投资和研究中心”五大中心, 有效加强公司在互联网技术方面的 2 产品研发和运营能力,公司以用户为核心的大数据、大 传媒产业架构轮廓初现,朝“互联网枢纽型传媒集团”转型初见成效。 浙报传媒预计 2020 年全球大数据应用市场归母净利预计达到 5400 亿美元。其大数据 业务核心在于打造浙江大数据交易中心,作为撮合平台,数据中心不做数据存贮和销售,而 是构建开放的交易生态系统,公司提供数据的加工脱敏、数据出口等业务,从而形成可以交 易的数据,不断孵化和培养新型数据企业。公司计划用 4 年左右进行数据交易中心平台建设, 后续将不断完善生态系统,强化数据技术。 (2)人民日报社 人民日报社已经成为一个全媒体方阵。报道周期从人民日报按“天”计算,报道“昨天” 的事;到人民电视,按“小时”计算,聚焦“今天”的事;到人民网、人民搜索、人民日报 236 法人微博,时间精确到分秒,随时记录“此刻”的事。2016 年,人民日报选择从全国“两 会”开始联动,联手贵阳大数据交易所发布了《政府工作报告网民关注什么》、《增速背后看 变化》等。通过用数据说话真实可靠而且言简意赅,这样的大数据应用收获了关注与赞誉。 通过跟踪“两会”热点、跟踪海内外对“两会”的关注及媒体的倾向性及热点反馈、以及对 “两会”上的热点提案做数据解读,还有网民对“两会”态度与观点的数据解读,有助于大 家看懂“两会”。 (3)南方报业传媒集团 目前南方日报平面媒体、网络媒体、移动媒体、广电媒体、户外 LED 和南方全线通六 条产品线同时并举,已形成“一报、一网、一端、两微、两屏”的融媒体矩阵,终端影响人群 过亿。作为南方报业全媒体数字资源库的建设成果,多媒体信息展示查询服务平台于 2014 年 10 月正式上线,初步展现了大数据、大平台、大资源的端倪。该平台在打通集团各报系 采编出版流程的基础上,实现多渠道内容的汇聚、存储、整合和优化,对内实现海量内容信 息共享,提高内容资源利用率,降低信息生产成本,提升内容管理效率;对外则可提供增值 服务,延伸内容产品范围,提供智能推荐和搜索、个性化内容定制,进行资讯的精准匹配、 增强媒体核心竞争力。 历经半年多的使用和完善,现在资源库已坐拥 13T 数据量,涵盖 460 万篇稿件、150 万 张图片、75 万个成品版面、137 段视频、1.8 万条人物库、900 多个文献专题,同时,每年 将以 3T 左右数据量增长,数据涵盖成品稿件、素材稿件、自有图片、外电文字图片、版面 数据和不定时更新的视音频稿件等。 如图所示,围绕四个层面的内容建设,南方传媒集团传媒大数据内容平台将资讯和用户 读者紧密联系在一起,形成了一个闭环的大数据内容采集、生产、销售和分析反馈的生态系 统,实现了内容数据生命周期和用户读者的全流程管理,将为传媒集团的数据资产化走出一 条新的路子。 237 图表 126:南方报业传媒集团大数据运营应用场景 (来源:贵阳大数据交易所) 6.13.5 媒体大数据交易现状 2014 年 8 月 18 日,国务院出台了《关于推动传统媒体和新兴媒体融合发展的指导意见》, 习总书记亦明确提出着力打造新型主流媒体和有强大实力的新型媒体集团。国家明确提出 “媒介融合”,这意味着,未来主流媒体“融合”还是要走一条“自上而下”的路。 当下,媒体大数据交易市场刚起步,各公司之间的交易以企业用户为主。媒体大数据交 易分为以下几种,一是社交媒体平台的数据交易,如新浪微博与全球社交媒体平台数据分析 公司 Socialbakers 达成合作后,上线了微博官方大数据产品等,新浪微博也会与国内舆情、 情报、公关公司等合作,通过出售平台数据,满足对方舆情监测、精准营销等目的。二是媒 体依托于各大数据交易所进行交易,如贵阳市与人民日报媒体技术股份有限公司签署了战略 合作协议,根据协议内容,双方将在建设数据中心、开放非敏感数据产品、推进媒体大数据 资产评估的标准制订及人民日报媒体技术股份有限公司入驻贵阳市北京中关村 E 世界创客 空间等方面展开合作。依托贵阳大数据交易所,为媒体企业盘活大数据资源,对接各类大数 据需求者和投资者提供交易服务,促进媒体数据价值实现最大化。而京东与腾讯也与 2015 年在贵阳大数据交易所完成了首笔交易,京东将获得微信、QQ 等移动资源,这为京东未来 的营销做好了充足的准备。 238 6.14 食品大数据应用现状分析 大数据作为一种新的技术手段和重要资源,其所创造的巨大价值正在被越来越多的的传 统行业所认同和采用。很多食品企业已经深刻的认识到了这一点,将大数据应用到食品原料 生产、食品产品研发、食品产品生产、食品产品储存、物流、食品产品销售及食品安全的可 追溯的全产业链过程中。 6.14.1 食品大数据现状 相较于很多科技含量较高的行业,食品大数据大部分掌握在食品企业手中,虽然数据量 很庞大但比较的单一化、零散化,没有真正的系统化合理应用,掌握在政府职能部门的食品 数据,其准确度带有滞后性。 6.14.1.1 政府食品大数据现状 中国的食品企业主管行政机构有食品药品监督管理总局、国家工商总局、国家统计局、 海关总署等,部分行政机构都建设有采集食品行业信息的数据中心。 (1)国家食品药品监督总局 国家食品药品监督总局负责制定食品行政许可的实施办法并监督实施。建立食品安全隐 患排查治理机制,制定中国食品安全检查年度计划、重大整顿治理方案并组织落实。负责建 立食品安全信息统一公布制度,公布重大食品安全信息。参与制定食品安全风险监测计划、 食品安全标准,根据食品安全风险监测计划开展食品安全风险监测工作;制定食品的稽查制 度并组织实施,组织查处重大违法行为。建立问题产品召回和处置制度并监督实施;负责食 品安全事故应急体系建设,组织和指导食品药品安全事故应急处置和调查处理工作,监督事 故查处落实情况;负责制定食品安全科技发展规划并组织实施,推动食品药品检验检测体系、 电子监管追溯体系和信息化建设。 食品药品监督总局有独立的数据中心,在数据中心可以获得中国普通食品、保健食品、 食品添加剂 40 多万家生产企业最基本的数据信息以及普通食品、保健食品、食品添加剂产 品抽检情况的数据信息。 (2)国家工商总局 239 国家工商总局负责市场监督管理和行政执法的有关工作,起草有关法律法规草案,制定 工商行政管理规章和政策;监督管理流通领域商品质量和流通环节食品安全的责任,组织开 展有关服务领域消费维权工作,按分工查处假冒伪劣等违法行为;加强流通环节食品安全监 督管理,服务经济社会发展与保护经营者、消费者合法权益,监测、预警和信息引导的职责; 加强和完善工商行政执法,构建市场监督管理长效机制。 食品行业有着“小、散、低”格局特性,40 多万家食品生产企业中,小、微型企业和小 作坊仍全行业 90%左右。这些企业的生产、流通的环节的自律性差别严重。国家工商总局 有着独立的信息中心,在信息中心可以获得监管食品流通过程中的海量数据。 6.14.1.2 企业食品大数据现状 食品随着工业信息化的发展与普及,许多企业将物联网、互联网、云计算运用到生产过 程中。这也为企业食品大数据的积累奠定了夯实的基础。以中国食品有限公司、青岛啤酒、 可口可乐等企业为例,便可一窥企业食品大数据资源的现状。 (1)中国食品有限公司 中粮集团是世界 500 强企业之一,是中国领先的农产品、食品领域多元化产品和服务供 应商。中粮集团旗下的中国食品有限公司是在香港联合交易所主板上市的品牌食品消费品公 司。中国食品于 359 家央企上市公司中排名第 77 位,是母公司中粮集团属下七家上市公司 中排名最高之一家。 中国食品有限公司的 BW 系统和 ERP 系统同在 2007 年上线。在中国食品有限公司和 IBM(IBM 是项目实施方)的共同努力下,中国食品利用 SAP BW 建立了商务智能分析系 统,该系统更多基于公司业务需求进行设计。经过五年的发展,目前,中国食品的系统订单 量翻了近一倍,一天要处理营业额为 1 个多亿规模的业务。除了来自销售、供应链、财务环 境的 ERP 数据通过 SAP BW 展现外,中粮集团旗下中国食品公司也在考虑如何把非结构化 数据进行分析,变成决策依据,比如:人口统计信息、市场份额信息、消费者调研信息、社 交网络信息等。 (2)青岛啤酒 青岛啤酒(揭阳)公司是一家新建的生产工厂,在设计初期即确立了打造一个一流的自 240 动化、信息化的示范生产基地,由此,青岛啤酒股份有限公司引入了西门子的 SIMATIC IT MES 系统。管理酿造部分的整体生产控制流程;包装部分采用了 WinCC 系统,与各台设备 (如灌装机、杀菌机、包装机等)进行信息集成;为实际发生的物料消耗及产品与标准消耗 产出对比分析提供了数据基础;MES 采集生产运行的实时数据,并以客户方便查看的方式 进行展示;客户在远程通过 IE 就可以查看当前的设备运行状况。 (3)可口可乐 在可口可乐营销活动中,收集海量社交媒体数据并提炼出个性产品,固然是神来之笔, 但数据在活动中的 SHOWTIME 远不止于此。 考虑到活动鲜明的社会化特点,如何在活动伊始便与消费者互动就变的至关重要,完全 依赖广告公司进行人工搜索再进行互动,不仅时效性比较低,广告公司的多人协作以及后续 沟通也会变得异常困难,为此,可口可乐建立了一套完整的系统 Social Command Center, 通过实时的数据挖掘第一时间告知广告公司,哪些名单需要互动了,并将互动记录保留下来 供后续沟通。收集数据——清理数据——数据入库——找到有质量的消费者或名人——提供 给广告公司互动名单,这些都是实时进行的,并且都是在可口可乐公司营销活动数以万计的 基础数据上进行的。 通过一站式全流程的数据管理服务,除了社交大数据的挖掘和分析,还能提供传统广告 的监播日志数据、采集广告主官方站点、品牌微博、电商渠道、在线调研、使用评论等数据 的挖掘和分析服务,并将这些数据有机地整合起来,为企业的品牌营销和市场运营建立模型、 提供建议、协助决策。未来还可以导入自有的 CRM、ERP、仓储物流数据,为企业提供更 广的数据融合、更深入的数据挖掘服务。 6.14.2 食品大数据应用市场规模 6.14.2.1 食品大数据的应用价值 (1)大数据有助于精确食品行业市场定位、产品的研发 成功的品牌及产品离不开精准的市场定位,可以这样说,一个成功的市场定位,能够使 一个企业的品牌加倍快速成长,而基于大数据的市场数据分析和调研是企业进行品牌定位的 第一步。大数据中了解食品行业市场构成、细分市场特征、消费者需求和竞争者状况等众多 241 因素,在科学系统的信息数据收集、管理、分析的基础上,提出更好的产品方案和建议,保 证企业产品及品牌市场定位独具个性化,提高企业品牌市场定位的行业接受度。 (2)大数据可以实现食品生产的高效运转,降低生产成本 在食品企业的实际生产运作过程中,通过大数据可以有效预测生产、控制生产环节 、管 理生产过程、知道生产计划、实现工业控制和生产管理达到最优目标,同时对有限的资源进 行充分的使用与应用,能有效降低企业对资源的配置成本,实现生产过程的高速运转。 (3)大数据成为食品行业市场营销的利器 每天在 Facebook、Twitter、微博、微信、论坛、新闻评论、电商平台上分享各种文本、 照片、视频、音频、数据等信息高达的几百亿甚至几千亿条,这些信息涵盖着、商家信息、 个人信息、行业资讯、产品使用体验、商品浏览记录、商品成交记录、产品价格动态等等海 量信息。这些数据通过聚类可以形成食品行业大数据,其背后隐藏的是食品行业的市场需求、 竞争情报,闪现着巨大的财富价值。如果企业管理者善于在市场营销加以运用,将成为食品 行业市场竞争中立于不败之地的利器。 (4)大数据的应用推动食品产业的升级 云计算、大数据等先进信息技术不断地应用于食品产业领域,逐步解决制约食品产业发 展的关键技术、核心技术,推动食品产业向深精加工和上下游延伸,实现了传统食品产业向 工业化、信息化的转变。利用大数据的存储、挖掘、信息获取、信息分析和可视化技术来改 造传统食品企业的产业链,提升食品企业精益管理水平、把握食品消费市场需求变化和消费 者需求倾向,将是食品企业未来获取巨大商业价值的有效渠道和途径。未来随着大数据在食 品产业中的深入应用将给企业带来实质的业绩贡献,在产业发展模式提升和转型升级方面将 起到巨大的推动作用。 (5)大数据在食品安全监管中的作用 食品安全不仅关乎公民生命安全和身体健康,涉及中国食品及农产品的国际声誉,同时 与经济发展和社会安全密切相关,影响社会稳定和政府形象。食品安全的监管是政府的工作 重中之重,涉及到从田间到餐桌的每一个环节,只有覆盖全过程的动态监测才能保障食品安 全。根据 2015 年 10 月 1 日起施行的《食品安全法》明确规定:“国家建立食品安全全程追 242 溯制度。食品生产经营者应当依照本法的规定,建立食品安全追溯体系,保证食品可追溯。 国家鼓励食品生产经营者采用信息化手段采集、留存生产经营信息,建立食品安全追溯体系。 大数据为建立高效的食品安全监管与风险预测机制提供了契机,已经广泛地被应用。如:食 品安全溯源系统、食品安全风险监测平台等等。 6.14.2.2 食品大数据应用市场规模 受物联网、云计算运用到生产的影响,食品行业的数据呈现海量增加,大数据行业就可 以广泛用到食品行业的全产业链中。因此,食品大数据的应用市场规模 2014 年达为 2.4 亿 元,预计到 2020 年将突破 60 亿美元。 图表 127:2014-2020 年食品大数据应用市场规模及增长趋势 6.14.3 食品大数据应用案例 6.14.3.1 案例一:全产业链模式,伴“飞鹤”安全腾飞 (1)应用背景 2013 年最新乳业行业整顿政策,食品药品监管总局、工业和信息化部、公安部、农业 部、商务部、卫生计生委、海关总署、工商总局、质检总局联合发文,要求对婴幼儿乳粉参 照药品管理,并鼓励乳粉企业兼并重组,力争提升婴幼儿乳粉质量、提振消费者信心。 本着对广大消费者质量安全负责的态度,飞鹤乳业打造了全产业链模式、积极推进以乳 制品质量安全为核心的企业管理体系建设,并通过信息系统建设和数字化平台搭建打造企业 243 核心竞争力。全产业链可追溯系统于 2012 年 1 月上线开始试运行,2012 年 3 月 1 日正式对 消费者提供查询服务。 (2)数据源 监控各牧场养殖相关信息:奶牛健康状况、牧草质量、饲料质量,从根源解决产品质量 问题。 通过对各环节的质检预警:采购环节、半成品生产环节、成品生产环节,逐级把关监控, 将风险指标降到最低。 其他数据:预警监控批次发货数据、监控管理数据、消费者负评率以及投诉监控数据、 生产基地设备使用状态监控数据等。 (3)图说场景 图表 128:“飞鹤”乳业全产业链可追溯系统 (4)实现路径 乳业可追溯体系结合赋码系统、生产运营的业务系统完成数据采集,对乳品原料的生产、 244 加工、运输、仓储及零售等供应链环节的管理对象进行标识,并相互连接后将这些标识用条 码以人工可识读方式表示出来。 (5)应用效果 提升消费者服务和增加产品附加值。让消费者可以了解全程的卫生管理情况,实现透明 品质监督,确保产品安全,从根源上保障消费者的合法权益总体规划。 全面打造全产业链数字化、智能化、一体化食品安全体系。乳品质量安全的控制应当跟 踪乳品生产的全过程,从饲料种植到奶牛养殖场再到消费者手中,保证消费者消费的乳品都 能追溯到乳品生产的各个环节。 提升企业精细化管理和内部控制水平。全产业链产品可追溯体系实际上是飞鹤全产业链 模式的具体化和信息化,通过信息化系统与平台的打造和运行,以 IT 手段为支撑,使食品 安全管理和产品可追溯变得可操作、高效率,并实现数字化、透明化、服务化,变成实实在 在的内控体系和用户服务。 6.14.3.2 案例二:青岛啤酒采用 ERP 信息管理系统,创新管理模式 (1)应用背景 青岛啤酒(揭阳)公司是一家新建的生产工厂,在设计初期即确立了打造一个一流的自 动化、信息化的示范生产基地,由此,青岛啤酒股份有限公司引入了西门子的 SIMATIC IT MES 系统。 (2)数据源 配方信息、加工酿造数据、包装信息、物料投放数据、效益分析数据等 (3)图说场景 245 图表 129:“青岛”啤酒 ERP 信息管理系统 (4)实现路径 啤酒生产划分为两大部分:酿造部分,包装部分;其中在酿造部分,青岛啤酒(揭阳) 公司采用的为西门子的 Braumat 系统,用户管理酿造部分的整体生产控制流程;包装部分采 用了 WinCC 系统,与各台设备(如灌装机、杀菌机、包装机等)进行信息集成; MES 功能的所有硬、软件网络,主要功能包括配方管理、糖化工段数据采集及监视、 发酵工段数据采集及监视、过滤及清酒罐数据采集及监视、包装工段管理、OEE、物料追踪、 报表及数据分析等; Oracle EBS 系统、作业成本系统以及 MDM 系统 (5)应用效果 为实际发生的物料消耗及产品与标准消耗产出对比分析提供了数据基础; MES 采集生产运行的实时数据,并以客户方便查看的方式进行展示; 包装工单制定与下发,包装工单运行,包装工单查询,包装工单的监视; 客户在远程通过 IE 查看当前的设备运行状况。 6.14.4 食品大数据重点企业分析 (1)1SAP 集团 246 SAP 公司成立于 1972 年,总部位于德国沃尔多夫市,是全球最大的企业管理和协同化 商务解决方案供应商、全球第三大独立软件供应商。全球有 120 多个国家的超过 21,600 家 用户正在运行着 69.700 多套 SAP 软件。在农牧和食品行业,SAP 的客户分销了全球 78%的 食品。 全球食品行业龙头企业福喜集团、嘉吉集团、百事可乐、可口可乐、益海嘉里、亨氏、 ZOTTER 巧克力、上好佳、农夫山泉都是的 SAP 食品行业的服务商。 SAP 在食品行业的主要产品:SAP 食品饮料全产业链管理系统、SAP 烘焙连锁全产业 链管理系统、SAP 屠宰加工全产业链管理系统。 SAP 食品行业全产业链管理系统主要解决问题:业务流程规范管理;业务风险的控制; 强化供应商的考核管理;品质的管理;产品批次的追溯;多种生产业务的处理;科学的成本 管理;多角度、多维度的业务分析等。 SAP 食品行业全产业链管理系统主要的功能:搭建企业信息化管理平台,规范企业业 务流程,提升部门间的协同合作能力,提高企业整体工作效率,优化并平衡供应链,并使得 管理模式具有可复制性;建立完善的、规范的、正确的、及时的数据共享体系。建立完整的 产品品质管理及追溯体系。及时获取有效的数据,进行全方位、多角度的数据分析为管理提 供决策依据,使得管理决策数字化。 (2)IBM 集团 IBM(国际商业机器公司)是全球最大的信息技术和业务解决方案公司,1911 年创立 于美国,其业务遍及 170 多个国家和地区。目前食品行业主要有狮王、飞鹤、三元、良品铺 子、香飘飘在与 IBM 集团合作,打造全产业链的生产模式。 IBM 在食品行业主要的产品:食品安全跟踪及追溯解决方案。 食品安全跟踪及追溯解决方案的概述:建立食品安全溯源平台,对食品的生产、加工、 存储、流通、销售等各个环节进行全方位的监管。可以建设产地追溯、生产追溯、批发追溯、 零售追溯、消费追溯等各子系统。 食品安全跟踪及追溯解决方案包含功能: 透彻感知:定位与追踪,通过粘贴了 RFID 或二维条码的原材料,单体食品,配备了 GPS 的运输工具,帮助快速定位与追踪食品的位置和所处状态。装备了温湿度等传感器的 存储仓库及运输工具将食品流通过程的各种环境参数自动收集。 互联互通:通过宽带、无线和移动通信网络及各种先进的通信方式,各种感知信息汇聚 247 到监管数据库进行集中处理与存储。通过信息整合方式或流程整合方式,经处理的感知信息 在食品链各主体间安全共享。通过面向公众的查询接口,终端消费者可以随时随地查看所购 食品的信息。 智能反应:决策支持及高效的食品安全事故应急流程。 数据获取及预处理:作为基础,通过自动化手段进行食品生产、流通数据的采集,保证 数据的准确和效率。通过直连方式采集大型批发商和零售商的食品安全相关信息,整合中小 批发商和零售商的食品安全相关信息,对收集到的非标准数据进行初步标准处理。 监管数据库:集中式的遵循标准的数据仓库,为相关监管部门掌握食品生产、流通情况 提供有效依据(现场执法、巡检、召回)。为基于海量数据的智能应用提供数据基础。 食品安全服务平台:通过提供丰富的报表及数据分析能力,对收集到的大量数据进行分 析和转换使其更易被领导、业务人员接受,从而为决策提供快速有效的帮助。整合现有的应 用界面,提供统一的操作视图,使得监管人员在进行业务操作的时候更方便,从而提高效率, 同时也增强了部门间的协同能力。提供决策支持及高效的食品安全事故应急流程。 食品安全服务总线:针对存在需要进行多种应用数据传递,跨部门的实现情况,提供高 质量,灵活方便的整合能力。使得食品相关数据可以在不同部门之间应用之间安全快递的传 递,增强部门间的协同能力。针对不同的需要,对数据进行转换变形。 统一公众查询:通过提供多种方式的自动食品源头查询服务增强消费者信心,基于安全 控制,企业也可以通过查询接口对食品流通状态进行查询,获得食品链透明性所带来的益处。 6.15 旅游大数据应用现状分析 旅游业是国民经济的战略性支柱产业,亦是信息资源密集型产业,在大数据时代如何完 善旅游业运行模式并处理海量旅游信息成为当下研究的关键点。大数据将从旅游组织结构、 旅游组织功能和水平以及垂直整合三个方面深刻影响旅游业的未来发展。为适应大数据时代 的变革要求,旅游产业要从树立大数据意识、培养大数据人才和消除数据“孤岛”三个方面 入手,进行积极应对。 旅游业利用大数据和云计算的技术支持,可以整合公安、交通运输、环保、国土资源、 城乡建设、商务、航空、邮政、电信、气象等相关方面涉及旅游的数据,同时与百度、谷歌、 携程等主要网络搜索引擎和旅游电子运营商合作,建立社会数据和旅游及相关部门数据合一 248 的旅游大数据资源,推行旅游的数字化管理,开展数字化营销,以达到与旅游业网络化、散 客化、大众化的发展趋势相一致的目的。 6.15.1 旅游大数据现状 旅游大数据包括旅游从业者数据和消费者数据两部分,比如景区、酒店、旅行社、导游、 游客、旅游企业所产生的数据,以及其他影响旅游行业的数据,如宏观经济数据、交通数据、 社会舆论数据。其中,最为重要、也是应用价值最大的一块则是消费者即游客的数据。那么, 游客数据为什么“大”。 首先,游客量基数大。据国家旅游局统计,2015 年我国国内旅游人数超 41 亿人次,出 境旅游人数达到 1.2 亿人次。 其次,游客属性信息数据大。每一位游客都对应多个属性信息,包括年龄、性别、常住 地、职业、兴趣偏好等,这样的游客属性信息 N 倍于游客人数的数据量。 第三,游客日常行为信息数据大。在日常生活中,每一位游客无时无刻不在产生信息, 通过百度搜索个人需求、通过淘宝在线购物、通过微信进行社交,而所有的日常行为,都会 实时记录、存储于互联网。 第四,游客旅游行为数据大。一次完整的旅游过程包括吃、住、行、游、购、娱六大要 素,游客通过携程订购酒店机票、通过同程购买门票、通过百度搜索资讯、通过地图进行导 航和定位,而所有的旅游行为产生的数据,也都会被存储、记录。 随着时代经济的飞速发展以及科技的进步,现代化的大数据应用更加广泛,伴随着国内 旅游业的飞速发展,旅游业对于大数据的应用也有着越来越高的重视度。 249 图表 130:旅游大数据链示意图 (来源:贵阳大数据交易所) 6.15.1.1 政府旅游大数据现状 21 世纪的今天,现代化信息技术的日益成熟以及互联网的大量普及使公众对于数据生 产的能力逐渐增强,爆炸式的数据增长量对整个网络的发展有着一定的充斥作用。而对于旅 游行业来说,如何在大数据时代背景下把握正确的发展方向是亟待解决的重要问题之一。 (1)国家旅游局:国家旅游局数据中心成立 为适应新形势下国家战略与旅游产业发展的需要,国家旅游局数据中心 2015 年 12 月 3 日在京揭牌。该中心的成立从根本上终结了中国旅游业统计体系缺失的历史,地方各级政府 也随之陆续建立地方旅游数据中心。 国家旅游局数据中心的核心职能是负责旅游行业统计和经济核算工作,目标是成为国家 级旅游统计工作平台、旅游数据分析平台、涉旅决策支持平台、相关产业引导平台和国际交 流合作平台。 (2)贵阳:打造“贵阳模式”旅游监管平台监管所有 A 级以上景区 2012 年 12 月,贵阳市被国家旅游局确定为第二批智慧旅游试点城市,自此,贵阳市全 面启动智慧旅游体系建设,致力打造智慧旅游“贵阳模式”。目前,“贵阳市智慧旅游运行监 管及应急指挥平台”已现雏形。工作人员只需一个平板电脑操控,就能在大屏幕上看到景区 的即时景象,以及当天的天气状况、旅行社接待游客情况。据悉,这个平台目前只是试运行, 建成后,贵阳市所有 A 级以上景区将能全部监管到位。该平台将以全方面整合资源、渠道、 250 洞察、智慧为思路,围绕“+互联网”与“互联网+”、公共设施的集成与优化、以 API 经济 为特色的大数据创新三个建设重点,从组织架构、标准、人才、产业等多方面搭建创新中心, 构建以互联网为基础的智慧旅游生态圈,打造全国智慧旅游大数据中心。 在未来,旅游部门的智慧体系计划将与运管部门联合,随时监管旅游团队情况。另外, 2016 年贵阳将重点改造青岩古镇的智慧旅游系统,同时对天河潭景区开展智慧景区建设, 让两个景区成为智慧景区的“标杆”。 (3)我国首个“互联网+旅游”景区大数据应用联盟成立 2015 年 12 月 8 日,在中国“互联网+”开放合作大会上,我国首个致力于互联网+旅游 的数据应用、产业对接、交流合作的联盟——“中国互联网+旅游景区大数据应用联盟”(China Internet Travel Scenic Big Data Applications Alliance ,简称 CITBA)在大会上宣布成立。该 联盟将帮助景区实现用户消费大数据分析及用户旅游目的地推介,最大程度实现旅游景区的 经济效益和社会效益。 国家旅游局信息中心发起的“中国互联网+旅游景区大数据应用联盟”就是助力全国生 态旅游发展及全国旅游大数据建设的重要平台组织,旨在帮助景区,尤其是小众景区实现用 户消费大数据分析及用户旅游目的地推介,通过 H5 技术实现景区轻应用智慧旅游服务,真 正打造互联网+旅游景区。 6.15.1.2 企业旅游大数据现状 当旅行遇见了互联网,原本波澜不惊的生活开始了滔滔不绝的巨变。移动通信、互联网 和大数据正在深刻改变旅游业。目前,在线旅游市场已经是高度竞争的“红海”,相比之下, 智慧景区作为静悄悄的“蓝海”则刚开始引人关注。如今,各地智慧旅游的春风正劲,已经 成为我国旅游业发展的一个新趋势。 当前,将大数据技术应用在智慧旅游方面较好的企业主要有腾讯、百度、阿里巴巴、贵 州大数据旅游产业股份有限公司、中国旅游舆情传播智库、携程网等等。 (1)腾讯 由于拥有 QQ 和微信两大王牌产品,腾讯在大数据领域,拥有价值较高的社交数据、消 251 费数据、游戏数据等。通过腾讯数据,可以知晓每位用户的社会关系、性格禀赋、兴趣爱好、 隐私绯闻。可以说,在大数据领域,腾讯是一只潜伏的巨鳄。 2015 年 7 月 15 日,全国首家“互联网+龙门”智慧景区上线运营,吸引了旅游业、互 联网界的高度关注。龙门石窟景区被注入“互联网基因”后,实现了景区在管理、购票、游 览、宣传和运营方面的多个转变,开创了新的发展模式。自上线以来,龙门石窟微信公众号 平均每天增加粉丝 9000 人,平均每天超过 12 万次点播体验智能语音讲解,上线 20 日超过 13000 位游客通过微信购票,成为国内“互联网+”智慧旅游的开创者、先行者,树立了标 杆和典范,给洛阳、河南乃至全国的景区融入“互联网+”提供了有益的启示和借鉴。 “互联网+智慧景区”龙门模式的内涵,是以政府为主导,以龙门石窟景区为主体,以 “互联网+”为平台,以专业化团队为支撑,借助云计算、大数据等工具,使龙门石窟旅游 实现了从“人工”到“智能”的转变。 龙门石窟成为全国首家与腾讯签约的景区,双方联手打造国内首个“互联网+”时代的 智慧旅游景区。经过腾讯方面确认,龙门石窟此举创造了多个业内第一:全国首家“互联网+” 智慧景区,全国首家实现智慧旅游的世界文化遗产,全国上线速度最快的“互联网+”项目。 古老的龙门石窟,在“互联网+”时代,开始向世人焕发出新的时代光彩。 (2)贵州大数据旅游产业股份有限公司 贵州大数据旅游产业股份有限公司抢抓贵州旅游主动寻求与互联网合作构建“旅游+互 联网”产业模式机遇,开发运营了贵途网、贵途商城、贵途自驾 APP、贵途游旅行社等自主 知识产权“贵途”系列品牌产品,基本形成了基于“互联网+贵途”等旅游大数据成熟的技 术产品和完整的技术解决方案。 未来五年,公司以贵州 150 个景区(点)为项目客户,拓展 30 个 4A 级以上景区信息 化系统集成规划、代建业务,投资建设一条以上旅游走廊、两个以上自主知识产权产品、三 个以上旅游目的地及“贵州旅游云”、“贵途网”、“贵途宝”等系列品牌,构建贵州区域旅游 电子商务生态系统产业链,打通游客与景区的便捷通道,为游客提供生态景区、酒店等个性 化定制旅行生活服务,整体推动贵州旅行服务产业转型升级,形成大数据智慧旅游贵州模式, 与合作伙伴共赢共享贵州旅游政策红利及大数据智慧旅游产业上市红利。 252 (3)百度 百度是老牌的互联网公司,由于李彦宏的重视,百度在大数据领域突飞猛进,引领国内 大数据行业的发展。 据资料显示,百度搜索引擎平均每天的搜索量达到上百亿次,而每一次游客的搜索请求, 构成了百度大数据,通过游客的搜索请求,可以预测旅游市场。同时根据贵交所统计,百度 地图在国内市场占有率接近七成,远超高德地图,而游客每一次通过百度地图定位、导航, 都会被存储、记录,百度地图可以据此知晓每一位游客的实际游览轨迹。另外,百度整合了 旗下 50 多条产品线的数据,包括百度搜索、百度地图、百度糯米,游客在每个百度产品上 所产生的数据都会被百度知晓,并通过数据挖掘、分析,产生每一位游客的数据画像。目前, 百度和旅游领域的大地云游科技有限公司进行了跨界合作,在旅游行业大数据应用方面进行 了深入探索。 (4)阿里巴巴 2016 年 2 月 29 日,阿里巴巴与中国旅游协会(以下简称“旅游协会”)签署战略合作 协议。阿里巴巴及关联公司将与旅游协会的旅游资源、会员、行业影响力等优势深度融合, 充分发挥阿里在互联网经济领域立体化发展优势,在云计算与大数据、电子商务、移动支付、 旅游创新、物流、信用建设等领域,两方开启全面合作,强化云计算及大数据领域的合作建 设力度,为旅游行业发展“互联网+”提供核心基础支撑。 旅游协会在旅行社、餐饮、酒店等方面均拥有丰富的会员企业资源,堪称行业、会员的 桥梁和纽带,而阿里巴巴及其关联企业拥有庞大的多平台在线用户资源——其中,阿里巴巴 中国零售平台活跃用户数达 4.07 亿。双方将进行数据的互联互通,进而提升旅游信息化建 设水平,降低信息化建设成本,共同推进旅游行业服务应用。 在住宿(酒店)、景区、旅行社、餐饮、购物、娱乐等旅游相关领域,基于云计算大数 据的服务应用将着重被推进,为旅游协会的行业信息调研及向政府及业务主管单位的提议提 供强大的数据支撑。 与此同时,利用阿里云计算的领先技术及丰富的产业生态资源,结合旅游协会丰富的行 业人才资源,双方还能一起支持旅游协会会员企业的创新发展。比如,合作阿里云孵化项目, 通过输出互联网课程培训与技术服务,组织创投提供第三方创业服务,帮助旅游企业降低创 253 业创新成本,专注技术研发与革新,提升核心竞争力。 (5)中国旅游舆情传播智库 中国旅游舆情传播智库由中国旅游报社、中国社会科学院舆情调查实验室共同组建。双 方将共同研发中国旅游国际传播舆情指数,建立和推广中国旅游目的地国际传播评估体系和 标准,打造中国旅游国际舆情传播咨询及服务平台,为中国旅游海外宣传推广提供数据监测、 传播策略、解决方案等“私人定制”服务。 专注于独家调查数据、行业舆情聚合、行业热点专题、经典传播案例等深度信息的发布 报道。以舆情监测软件抓取和聚焦信息,信息源广而大,用数据说话,既精准又有深度。通 过建立全球调查网络、中国旅游舆情传播效果评估体系、中国旅游舆情管理系统,为旅游主 管部门、旅游企业、景区景点等提供国际国内旅游舆情调查与监测、传播策略咨询及整合传 播服务。 (6)携程网 中国领先的在线旅游旅行服务公司,以互联网和传统旅游业相结合的运营模式,向 5000 万会员提供全方位的商务旅行与休闲旅游服务。将线上与线下资源结合,打造一个全方位、 立体式的覆盖旅行前、旅行中和旅行后的完善服务价值链。 携程旅行网成功整合了高科技产业与传统旅游行业,向超过 9000 万会员提供集酒店预 订、机票预订、度假预订、商旅管理、特惠商户及旅游资讯在内的全方位旅行服务。携程旅 行网除了在自身网站上提供丰富的旅游资讯外,还委托出版了旅游丛书《携程走中国》,并 委托发行旅游月刊杂志《携程自由行》。 6.15.1.3 旅游大数据市场规模 国家旅游局公报数据显示:2015 年,我国居民出游热情持续高涨,年度出游人数同比 增长 18%。2014 年全国 2.5 万多家旅行社的出境游业务营业收入为 1331.33 亿元,同比增长 15.05%;预计 2015 年度突破 1500 亿元的问题不大。贵交所粗略估算,2015 年度在线旅游 主要几家公司的总营收预计在 300 亿以内,还不到出境游大盘子的五分之一,出境游无疑是 一块巨大的市场。另外,全球经济下行压力依然巨大,各国为吸引中国游客纷纷出台新的签 证政策,加上人民币将于今年 10 月 1 日正式加入 SDR,让出境游的外部环境也空前地好。 254 所以多家在线旅游企业和旅行社集团将 2016 年的重心放在了出境游业务上。 6.15.2 旅游大数据应用市场规模 6.15.2.1 旅游大数据的应用价值 旅游大数据除了具有大数据 4 个基本特点(大量、高速、多样、价值)外,它更加动态、 密集,同时旅游行业是信息高度依赖型产业,本身就是大数据最佳的试验田。因此大数据在 旅游行业起步时间非常短,但是发展迅速。大数据将从旅游组织结构、旅游组织功能和水平 与垂直整合三个方面深刻影响旅游业的未来发展。为适应大数据时代的变革要求,旅游产业 要从树立大数据意识、培养大数据人才和消除数据“孤岛”三个方面入手,进行积极应对。 图表 131:旅游大数据应用 (来源:贵阳大数据交易所) (1)智慧景区 智慧景区就是结合景区特点,将物联网、云计算等新兴信息技术集成起来构建信息与决 策网络,增强人类感知、控制和管理的能力,更加精细和动态地管理景区,达到“智慧”状态。 通过智慧景区大屏幕展示可以使进入景区的游客实时了解到景区的状态;根据景区智慧 预警系统,解决景区高峰拥挤,游客过多等引起的风险;通过景区的网络舆情系统,可以根 据游客对景区的评价分析,帮助对景区管理的优化。这其中的典型案例即为 2010 年上海世 博会,主办方连续 184 天进行未来 3 天和一周的入园人数预测,主要是基于团队预约数据(世 255 博团队门票预定预约系统)与实际入园人数,结合人气指数、自然周变动规律、天气因素及 团队拉动因素等主要影响因子构建模型预测而得。 旅游突发事件时有发生,如泰国景区爆炸、尼泊尔地震等。旅游企业与旅游管理部门的 应急处理及紧急救援,对于大数据的要求非常高,需要第一时间了解游客,特别是旅行社组 织的团队游客情况,及时做出救援方案。直观的大屏幕、有效的大数据则起到了至关重要的 作用,遭遇突发事件,能够迅速捕获包括导游领队、游客信息等在内所有内容,第一时间获 取应急数据,帮助旅游监管部门做好应急处理此外还可以通过系统直接群发短信通知领队做 好安全工作。 图表 132:生态景区大数据平台应用场景图 (来源:贵阳大数据交易所) (2)用户画像——个性化旅游定制时代 定位一个用户群体,然后根据这个用户群体的需求、行为习惯等构建一个创业公司的商 业逻辑并打磨产品,是个很说得通的逻辑。而在旅游行业中,大需求是非常同质化的(比如 目的地、出行时间),而个性需求又是极度碎片化的(比如喜欢什么样的航班酒店、目的地, 喜欢什么样的活动、餐厅)。 (3)旅游服务大数据平台 大数据旅游平台的建立,就是通过对吃、住、行、娱、游、购六大要素信息数据的采集、 统计、分析,分别为政府、企业及游客提供智慧管理、智慧营销、智慧服务,形成特色的区 256 域旅游生态服务产业链。 “智慧旅游”是利用云计算、物联网等新技术,通过互联网或移动互联网,借助便携的 终端上网设备,主动实时感知旅游资源、旅游经济、旅游活动、旅游者等方面的信息,达到 随时随地、便捷地获取各类旅游信息,及时安排和调整旅游行程。 6.15.2.2 旅游大数据的需求分析 对于智慧旅游公司来说,满足市场需求有两个方面,一是面向用户,二是面向目的地的 旅游部门。如何利用大数据将冰冷的数据转化为生动的形象,以更贴近用户生活的方式展示, 一直是不少旅游企业致力发展的方向,在探寻的过程中,技术人员萌发了将数据以可视化的 方式进行直观展示的想法,经过长时间的尝试和调整,从而诞生了可视化订单系统。 图表 133:旅游用户画像场景图 (来源:贵阳大数据交易所) 可视化订单系统,是基于对数据进行 LBS 地理位置的分析,将用户的旅行轨迹动态实 时、直观地呈现在用户眼前。它包含有机票、酒店、火车票和旅游度假实时订单,同时全方 位展示根据这些订单数据统计出的“热门出行城市”、“热门到达城市”等用户比较关心的数 据。通过可视化的订单系统,用户能够非常直接地了解当前时段各国家和地区的出行热度, 也能分析出相应的出行趋势,以帮助客户更好地决策行程,为游客出行带来便利。 而目的地的旅游管理部门同样可以通过可视化订单,实时监测目的地的景区热度,根据 热度的趋势变化更好地做出风险预警,提升服务水平。 257 6.15.2.3 旅游大数据应用市场规模 旅游产业的转型升级迎来了智慧旅游时代的到来,但智慧旅游的发展离不开大数据,依 靠大数据提供足够有利的资源,智慧旅游才能得以“智慧”发展。目前旅游涉及到的地区、 政府、企业以及机构,逐渐开始了大数据应用的探索。预计 2016 年旅游大数据应用市场规 模将达 12.1 亿元。 图表 134:2014-2020 年旅游大数据应用市场规模及增长趋势 6.15.3 旅游大数据应用案例 (1) Travelocity 将大数据分析用于定价、库存和广告 著名在线旅游网站 Travelocity 将大数据分析用于定价、库存和广告。这三个维度的数 据每天都会产生供需变化。Travelocity 采用拟归模型(Look-Alike Modeling),最佳交易分 析和推荐引擎向目标客户推送最恰当的产品。Travelocity 使用 Hadoop 作为大数据汇集的环 境,然后通过分析模型将结果推送给边缘应用,并支持实时决策。 Travelocity 于 1996 年成立,是全球第一家实现在线实时机票预订的旅游网站,也是第 一家进入亚洲市场的 OTA 公司。Travelocity 于 2015 年 1 月被 Expedia 收购。Expedia 早期 作为微软子公司出道,是目前全球最大的在线旅游公司之一,它也是国内预定网站艺龙、酷 讯和酒店点评网站到到(Expedia 旗下全球最大的旅游社区 TripAdvisor 的中文官网)的最大 股东。此次收购是为了借助 Travelocity 的口碑,帮助扩大其在北美的市场份额。 258 (2)IBM 公司 RFID 智能酒店系统助力浙江“智慧旅游” 消费者入住偏好自动设置;手持酒店客房分机,一键拨号解决所有疑难问题……黄龙饭 店提供的“智慧酒店”的客户体验让人印象深刻。强大的智能化客户体验的背后,是 IBM 这个最大的幕后推动者以 IBM 全方位的酒店管理系统与 RFID 等智能体系,实现黄龙饭店 智慧酒店的设想。 早在 2010 年,IBM(NYSE:IBM)全球信息科技服务部就发布了 IBM“智慧的酒店” 四个系列解决方案,即机房集中管理、桌面云、自助入住登记和退房、无线入住登记和融合 网络。其中,机房集中管理是 IBM 针对中国酒店不断扩大规模的 IT 整合外包方案,桌面云 是酒店客户终端的虚拟化方案,自助入住登记和退房和无线入住登记是针对用户体验的全新 数字化服务,融合网络是 IBM 对新型酒店网络布设的架构规划。该四大解决方案的发布, 不仅体现了 IBM 对中国酒店行业的深刻洞察以及在酒店行业最新科技的应用,更为中国酒 店业信息化建设树立了新的标杆,通过 IBM 对中国酒店行业信息化建设的不懈努力与深耕, 进一步巩固 IBM“智慧的酒店”解决方案对中国酒店行业的领导地位。 (3)韩国观光公社与百度合作利用大数据吸引中国游客 由于最近几年的韩流袭来,韩国成为越来越多中国游客的旅游目的地。韩国观光公社将 与百度合作,利用百度关于旅游交通的移动流量数据来吸引更多中国的游客。百度将会提供 给韩国观光公社以与旅游相关的数据,来帮助其对需求进行科学分析,并据此结果制定市场 策略。 韩国观光公社国际旅游市场主管李成宰表示,将分析利用百度的大数据更好地做好中国 游客的服务定位,也会与相关行业分享有用的数据来支持他们的业务。百度公司决定在 “百 度知道”的页面上放置一个韩国观光公社中文网页的链接。双方的共享数据显示,搜索“韩国 旅游”的网民中,55%是二三十岁的女性。中国首都北京是关于“韩国旅游”的搜索所产生数 据流量最多的城市,随之是沿海的大城市群,如上海、浙江、广州。相比之下,西部城市较 少。 6.15.4 旅游大数据重点企业分析 UGC(User Generated Content,用户原创内容)作为距离 C 端最近的商业模式,其优 势在于最大程度反映了用户需求,且信息丰富,但劣势在于信息和需求均碎片化,用户难以 259 利用,商家难以变现。部分 UGC 旅游网站通过数据的结构化成功将传统游记加工成标准 化攻略——如蚂蜂窝攻略、穷游锦囊和行程规划等——成功解决了上述信息碎片化的问题。 从几大大型的 UGC 网站的发展方向来看:携程攻略社区本身存在于携程的大平台中, 其为携程贡献了一票驴友,这无形之中提高了携程的客户粘性。而对于蚂蜂窝、穷游等公司, 路线则是从数据向产品延伸,穷游的折扣业务推出受到了几大的关注,使得“穷游”成为可 能;而蚂蜂窝也逐渐增多酒店、当地游产品。实际上,这些都是向平台化发展的重要环节, 用户在查看行程攻略的过程中就能直接进行预订产品环节,而这些产品正是通过大数据的分 析为每位游客量身定做,这样的产品对消费者来说非常受欢迎。 从企业发展现状尤其是旅游大数据应用的战略地位、资金投入、平台建设以及应用效果 等指标进行综合分析,得出旅游行业大数据应用企业 TOP10 的名单,主要企业如下: (1)携程旅行网 携程旅行网 2015 年财报显示,全年的总营业收入为 115 亿元人民币,同比 2014 年增长 了 48%;归属于携程股东的净利润为 25 亿元人民币,相比 2014 年为 2.43 亿元人民币,同 比上涨超过 10 倍。携程旅行网通过庞大的智能数据库,自主研发并建立了可视化订单展示 系统及个性化推荐系统,这两个系统的诞生帮助携程更加了解用户,同时也促使携程的服务 和产品更贴近用户的个性化需求。 (2)众信旅游 在成功与竹园国旅重组、要约收购 ClubMed、入股年假旅行、注资控股“乾坤运通”货币 兑换公司、战略投资世界玖玖等一系列资本运作后,众信旅游不断加码,积极布局全产业链。 于 2015 年 5 月定增 28 亿促战略升级,打造“出境综合服务商”。资金主要投入到目的地生 活服务平台、“出境云”大数据管理分析平台、出境游业务平台、海外教育服务平台、出境 互联网金融服务平台建设。全新的“出境云”大数据管理分析平台,将帮助公司在国内领先 的出境旅游运营商基础上实现向综合服务商的战略升级。 (3)北京市途牛旅游网有限责任公司 2015 年 7 月,途牛旅游网与 SequoiaDB 巨杉数据库在大数据应用方面展开了深度的技 术合作,并且取得了显著的成效。举例来说,“价格中心”是途牛旅游业务的核心模块之一, 260 负责记录所有的服务、商品等等的价格,并在用户需要时对其进行计算和组合。这一系统每 天计算的团期数量达百亿次之多,每次计算都会对数据库发生多次查询,且会跨多个库进行 查询,而这些压力往往是在很短的时间内集中爆发,当供应商进行大批量调价时,价格是对 用户最敏感的信息,需要系统能够在极大规模数据量和并发的情况下能够以极快的速度给出 响应。 (4)海航凯撒旅游集团股份有限公司 凯撒拟于 5 月投资 10.59 亿元用于公民海外即时服务保障系统,提升服务层面的用户体 验,从而扩大凯撒旅游品牌影响力。该项目凯撒旅游将主要通过自主 IT 团队自行研发,基 于用户大数据以及旅游资源的整合能力进行系统打造。 (5)北京蚂蜂窝网络科技有限公司 蚂蜂窝做自由行的核心是旅游大数据,因为蚂蜂窝 UGC 这些数据覆盖全球 6 万多个目 的地,每天还有数百万的人在全球各地进行上传他们的照片,及实时的一些对酒店的评价和 各种贴士,这些源源不断的信息再通过蚂蜂窝大数据的技术,通过旅游分析和数据挖掘加工 成最实用的攻略和最实用的旅游结构化数据。有了这些旅游结构化大数据之后用户更容易做 消费决策,当用户做完消费决策之后,就更方便和后端的 O2O 合作伙伴,或者说来自于全 球的旅游服务供应商进行对接。 6.16 电力大数据应用现状分析 随着大数据、云计算、互联网等新兴产业的快速发展,信息技术对传统产业产生了强烈 的冲击。电力产业虽然是非常成熟的传统产业,但也是非常活跃的一个产业。面对大数据技 术的冲击,电力产业迅速改革,充分运用大数据技术为电力行业的快速发展服务,将带来巨 大的商业价值。智能电网就是电力产业与大数据技术融合的主要表现。 智能电网通过发电、输电、用电数据的收集、分析,来优化电力的生产、监管、分配以 及消费,这些海量的信息即电力大数据的有效利用会使能源管理更加优化。从本质上讲,智 能电网就是通过信息化技术实现大数据在电力上的应用。 261 图表 135:电力系统中设备监测点 (来源:贵阳大数据交易所) 6.16.1 电力大数据现状 电力行业拥有自身的特点,电力大数据主要来自电力生产、变配电、电力消费 3 个环节。 6.16.1.1 电力生产大数据 电力生产大数据主要包括:电力生产管理数据、输电实时监测数据。 电力生产管理数据,包括电力生产设备在线监管、智能化分析、自动化反应等。能够实 时收集设备状态、电网数据、环境数据、电力需求数据等各方面的变化数据,辅助完成相应 的管理措施,并记录相应措施的信息数据,将帮助电力生产实现自动化反应、实时记录、后 续可查的生产管理解决方案。 输电实时监测数据包括:电网负荷数据、电力需求数据、电力供应数据等。各方面数据 的监测、分析、挖掘,实现了电力输送网络的实时、精准管理服务,实现电缆运行状态在线 监测、变配电设备运行状态实时监测、变配电自动化管理。为电力输送环节提供全方位、实 时反应的保护解决方案。 262 图表 136:电力生产大数据采集及去向 (来源:贵阳大数据交易所) 6.16.1.2 变配电大数据 变配电的成熟度直接决定着电力大数据建设的成败,配电网是电网系统离电力服务的客 户最近的大规模电力设施,其最终的智能化程度决定了智能电网是否真正能给用户带来更加 可靠、更加经济的电力服务,也就直接决定了智能电网的成败。 变配电大数据主要分为两大部分:配电监管大数据、分布式发电与储能设备数据。 (1)配电监管大数据 配电网数据来源主要是配电网主系统、配电网终端设备两部分。典型的配电网结构如下 图所示。 263 图表 137:配电监管大数据采集 (来源:贵阳大数据交易所) 配电网主站系统数据包括:配电网监控、工作管理、设备管理等数据,终端设备数据, 主要包括配变终端设备(TTU)、馈线终端设备(FTU)和开闭所终端设备(DTU), 分 别 收 集配电变压器、户外型柱上开关、封闭型开关柜的运行数据。 变配电数据实现了配电网在线监测、精准的电力调配、配电网维护、配电网建设等各方 面数据的收集分析。 (2)分布式发电与储能 分布式发电将彻底改变未来能源的供应结构。分布式发电包括:小型热电联产系统、微 型燃气轮机、小型太阳能发电、小型风力发电、小型生物质发电等。 分布式发电系统将彻底改变配电网的结构。分布式电力系统有望构建一种数据交换媒体, 不仅收集电力并把电力传送到所需的地方,同时根据各地区的需求反馈分配电能,形成一个 “电力互换系统”。这其中将会涉及大量的数据收集与运算。 分布式发电系统数据包括五大方面: 发电设备数据:热电联产机组、小型风电机组、小型光伏系统等。 264 控制保护设备数据:逆变器、变流器、无功补偿器、继电保护系统等。 储能设备数据:蓄电池、飞轮储能、蓄电站等。 通讯与计量设备数据:智能电表、微网调度系统等。 6.16.1.3 电力消费数据 电力大数据的终极目标是,用户服务质量提升和用户行为引导。通过帮助用户了解自家 所消耗电力的真实数据,为更多客户提供家庭电力消耗报告、web 访问接口、数据共享等服 务。 图表 138:电力需求大数据采集 (来源:贵阳大数据交易所) 电力消费数据主要来自智能电表、用户基本数据、电力账单等。智能电表实时收集用户 的电量数据、耗电时间数据、耗电负荷数据等。用户基本数据包括用户所在区域数据、用户 年龄、用户行为习惯、用户电器类型数据等。电力账单,将家庭的制冷、采暖、基础负荷、 其他各类用能等用电情况被分类列示。并将用电量与历史账单进行相比,以鲜亮的图表呈现 方式让用户对自己的电力耗能情况一目了然。电力账单上除了要包含有本户用电数据的分析 之外,还有相近区域内最节能的 20%用户耗能数据——即所谓的邻里能耗比较、分享,紧 接着会经过设定好的行为科学理论运算法则进行分析,提供节能方案、节能技巧等。 265 6.16.2 电力大数据应用市场规模 通过物联网、传感器等各种信息化手段可以获取智能电网方方面面的数据,通过对这些 数据的处理与分析,可以获取非常有价值的信息,这些信息的应用可以使智能电网的各个环 节真正的实现智能化与合理化。 6.16.2.1 电力大数据应用节点 (1)发电环节:大数据的应用可以进一步深化和推广风电和太阳能等新能源发电功率 预测和运行智能控制技术,提升新能源接入和分布式储能的能力,促进大规模风电和光伏等 可再生能源的科学合理利用。 (2)输电环节:大数据技术的可以开展分析评估诊断与决策技术研究,实现输电侧态 势评估的实时化和智能化,结合外部数据,开展输电侧设施智能防灾研究,实现线路问题元 器件的快速恢复,提高输电侧的自愈能力。 (3)变电环节:提升变电站的智能化管理水平,通过全网、全区域实时信息共享和分 析实现变电侧的实时控制和智能调节,实现变电设备信息和运行维护策略与电力调度的智慧 互动。 (4)配电环节:大数据分析能够实现对用户负荷和用电情况的深入了解,提高对客户 用电需求和负荷模式的认知水平,优化配网规划和供电计划,提高配网监测、保护和控制水 平,提高事故的响应程度,优化配网运行管理水平,提升供电可靠率。 (5)用电环节:大数据应用可以建立面向经营与管理的科学营销决策支持平台,实现 市场运营、营销及客户服务、设备全寿命周期管理等各类主题的分析及预测,提高营销服务 的综合分析预测能力,实现客户用电管理优化、用能实时分析和预测等高级应用,提供用电 增值服务。 (6)调度环节:建设以数据驱动的智能调度体系,实现运行信息全景化、数据传输网 络化、安全评估动态化、调度决策精细化、运行控制自动化、机网协调最优化,提升调度驾 驭电网能力、资源优化配置能力、科学决策管理能力和灵活高效调控能力。 266 6.16.2.2 电力大数据应用市场规模 受大数据应用领域不断增加和以“互联网+”为思路的智能电网建设影响,电力行业对 大数据的应用也会逐渐深入,市场规模也将迎来增长,贵阳大数据交易所预测 2020 年中国 电力大数据应用市场规模将达到 138.2 亿元。 图表 139:2014 -2020 年电力大数据应用市场规模及增长趋势 6.16.3 电力大数据应用案例 (1)中国电谷“智能电网第一极” 2008年大数据技术在新一波的 IT 革命浪潮中应运而生,2009年我国提出建设智能电网, 至 2015 年 7 月分国家发改委、国家能源局印发《关于促进智能电网发展的指导意见》,我国 智能电网、大数据+电力技术经过第一阶段的成长,已经取得了一定的成果,初步形成了一 些典型的应用案例。保定•中国电谷智能电网综合建设工程就是一个典型的应用案例。 中国电谷智能电网综合建设工程是国家电网公司2012年安排的17个智能电网综合工程 之一,总投资 1.96 亿元,包括清洁能源接入、智能变电站、输电线路在线监测、配电自动 化、电能质量监测、配网调控一体化、配网故障抢修指挥系统、智能配用电一体化平台、用 电信息采集系统、光纤到户、智能家居、智能电网可视化平台共计 12 个子项建设工程。 267 图表 140:中国电谷智能电网综合工程构架 (来源:贵阳大数据交易所) 中国电谷智能电网综合工程 12 个子工程实现了无缝衔接、一体化运行,子工程之间通 过高速的数据工程平台实现了电网运行数据的高速共享、集成、处理、分析,进而确保了整 个智能电网的高速、高效运行。 电能质量检测和智能变电站相互配合,能够确保线路电路电压、电流可控,提高供电质 量,同时实现电能质量的在线监测、实时记录,为电力数据分析奠定基础。 用电数据采集和电网在线监测相互配合,能够实时监控电网、用电侧电力运行状况,确 保输电线路的畅通,确保用电侧需求满足,同时能够积累电网运行数据、电力需求侧数据, 为电力大数据分析奠定基础。 无人巡检系统和电网自动修复系统相互配合,能够实现电网通路的定点、定时巡检、故 障快速排除、故障自动报备,对于无法自动修复的故障自动报警便于故障抢修。 电网可视化平台和调度自动化系统相互结合,能够实现电网运行状况的虚拟化可视,展 现电力需求、电力故障、变电站等各个环节的运行状况,并进行自动化电力调配、自动化控 制等。 268 电网大数据共享处理平台将各个环节联通共享,保证整个系统的一体化运行,实现了电 网管理数据、电能质量数据、变配电数据、用户需求数据等各方面数据的综合分析,保障了 电网的高效运行和电力服务质量。 中国电谷智能电网综合建设工程为保定电谷区域经济社会发展提供了更充足、更可靠、 更优质的电力供应,区域用户平均故障停电时间将由 95 分钟缩短为 46 分钟,并且促进了光 伏等分布式清洁能源的发展,实现了节能减排,拉动了电力大数据相关产业升级,改善了居 民生活模式。 (2)个性化电力账单 通过电力消费数据分析用户用电行为 Opower 公司是于 2007 年创办的一家家庭能源数 据分析公司。Opower 与电力公司合作,抢占家庭消费者“入口”,获取家庭消费者的能源使 用数据,进行消费者用电行为分析,并为其提供节能减耗的方案,推动节能的互联网应用。 发电力账单,是每个公用电力公司都需要做的一项工作,看似简单,但是其功能拓展往 往被忽视。Opower 公司利用其云数据平台,结合大数据方法和行为科学理论,为家庭用户 发出了一份个性化的、贴心的电力账单。 通过这份电力账单,家庭的制冷、采暖、基础负荷、其他各类用能等用电情况被分类列 示,并将用电量跟上个月的进行相比,其鲜亮的图表呈现方式让用户对自己的耗能情况一目 了然。电力账单上除了有本户用电数据的分析之外,还有相近区域内最节能的那 20%的用 户耗能数据——即所谓的邻里能耗比较,紧接着它会据此提供建设性的节能方案。这就是 Opower 所标榜的“行为科学理论”的结晶。此外,Opower 在用户的交互方面,也做得贴心, 生动,到位。比如,用户的节能效果非常理想,Opower 提供的账单上就会有一个高兴的表 情,告诉你它的态度;再比如,Opower 会通过客户端或邮件给客户发送一些节能技巧信息。 269 图表 141:Opower 电力账单 (来源:贵阳大数据交易所) Opower 公司通过自己的家庭能耗数据分析平台,对由公用电力公司提供的家庭能耗数 据进行深入地分析和挖掘,进而为用户提供一整套适合于其生活方式的节能建议。 尽管 Opower 志在为用户节能,但其自我定位是一家“公用事业云计算软件提供商”, 由此可知 Opower 公司的运营模式并非 B2C 模式(企业对终端消费者),而是 B2B 模式(企 业对企业)。Opower 公司的服务对象是公用电力公司,而不是普通的家庭用户。 图表 142:Opower 电力分析平台 (来源:贵阳大数据交易所) 270 Opower 公司为公用电力公司提供如下四种服务。这四类服务中,Opower 既扮演数据收 集整合的角色,也为客户提供基于深入分析的有效性建议,而这四类服务都基于可扩展的 Hadoop 大数据分析平台。 目前,Opower 公司已经签下了来自北美、欧洲和亚洲 9 个国家的 95 家公用电力公司, 能够获取约 1.15 亿家庭的能源消费数据,并据此提供节能方案。打开 Opower 的网站,底端 一行实时跳动的数据格外醒目:Opower 客户已经节省了 XXX 千瓦时电,减少了 XXX 磅二 氧化碳,节约了 XXX 能源费用。麻省理工学院研究员阿科特曾做过关于 Opower 对家庭用 电量影响的研究,证实 Opower 的用电报告让用户的用电量减少了 2%。 Opower 的家庭能耗数据分析平台是基于可扩展的 Hadoop 大数据分析平台搭建,综合 利用计算机科学、行为科学和大数据科学理论。Opower 从所服务的公用电力公司取得大量 的家庭能耗数据,整合房龄信息、周边天气等数据,运用自己的家庭能耗数据分析平台进行 用能分析,建立家庭耗能档案,并与邻里的能耗数据进行比较,通过综合分析提出节能建议。 Opower 所提供的账单上,除了分析本户的能耗数据,还与相近区域内最节能的那 20%的用 户进行耗能数据比较,这就是其所提供的电力账单的亮点即"邻里耗能比较",这项比较是在 "行为科学理论"的指导下进行的。 6.16.4 电力大数据重点企业分析 随着电力市场改革的不断深入,电力企业的传统业务利润被不断压缩,大数据作为新兴 的技术手段,与电力产业相互融合,将带来新的业务点与营收点,电力大数据产生于整个电 力系统的各个环节,能够为电力发电企业、电网、用户、设备生产企业提供新的业务创新。 (1)国家电网公司 国家电网公司大数据研究应用工作于 2013 年 6 月起步。按照“统筹规划、协同推进、 统一平台、规范建设”的总体策略,并组织编制形成《大数据应用研究报告》。 2014 年 9 月完成试点研究成效评估。2014 年 6 月至 7 月,开展了公司大数据应用需求 分析工作,编制形成《公司大数据典型应用需求分析报告》。2014 年 7 月至 12 月,根据应 用需求分析报告,编制形成《国家电网公司大数据应用指导意见》,明确了应用的指导思想、 基本原则、总体目标、顶层设计、重点任务、职责分工和到 2020 年的专题工作计划,以及 271 工作要求和保障措施。2015 年 1 月,公司正式启动了企业级大数据平台的设计研发和试点 建设工作。目前,国网上海电力大数据平台试点项目已上线试运行。总部大数据平台将于 7 月底上线,并率先承载国网客户服务中心新型客户服务业务型态应用场景。 (2)中国南方电网有限责任公司 目前,南方电网公司已经具备大数据基因,数据呈现出体量大、类型多、实时性高等特 点。这些资源产生于公司生产运行、经营管理和科学研究的各个环节,整体呈现出大数据特 征。对于南方电网公司,大数据能够服务于经营管理、生产运行、科研和社会服务,为公司 创造巨大价值。 在经营管理领域,应用大数据能够帮助企业提升盈利水平、控制经营风险、创新管理和 业务模式。例如在规划领域应用大数据,可以基于用户用电量、公司输电量、负荷数据等信 息,结合国家宏观政策、经济发展情况、天气变化情况,利用数据挖掘分析等技术构建预测 模型,从时间趋势、区域电力、行业电力、重要客户电力等维度分析预测各地区电力负荷, 实现未来电力需求量、未来用电量、负荷曲线、负荷时间分布和空间分布等预测,为公司电 网规划和运行提供决策支撑。 在营销管理领域,可以基于客户行业特征和历史用电信息,挖掘不同行业客户在不同事 件下的用电行为模式,形成包含正常用电时序规律、表计篡改、非法接线、账单错误、表计 故障等多个事件的典型模式库。通过分析智能表计数据,比较单体客户用电曲线与行业规律 的相关性,识别异动客户,实时、准确地辨识异常用电行为,这有助于对窃电违约行为进行 预防和控制,有效降低非技术线损。 在生产运行领域,应用大数据能够提高供电效能、促进经济运行、增强电网安全。例如 电网信息化,基于电网设备信息、运行信息、环境信息以及历史故障和缺陷信息,开展关联 因素分析,建立状态预警模型,对不同种类、不同运行年限设备在一定关联因素影响下的状 态进行预警和故障率预测,同时引入交通、路政、市政等外部信息,如工程施工、树木生长 等,关联电网设备台账数据及地理空间信息,对电网外力破坏故障进行预警分析,提升电网 安全保障。 此外,大数据在电网抗击灾害天气方面也能够起到重大作用。公司可以在传统公共气象 信息的基础上,增加全天候实时监测的线路走廊风速、风向、降雨、温度、湿度和气压等微 272 气象数据,形成更为完善的天气数据库,实时预测灾害天气动态。同时,综合分析气象数据、 地理信息、电网拓扑信息、设备台账及运行信息、客户信息、物资信息等数据,实时预测灾 害天气的影响范围,优化灾前应急资源配置和抢修资源智能调度,并支持客服人员主动告知 影响范围内的客户为可能的停电事件早作准备,提升客户满意度。 (3)法国电力公司 法国电力公司基于大数据的用电采集应用。法国目前已安装 3500 万个智能化电表,采 集的主要对象是个体家庭的用电负荷数据。以每个电表每 10min 抄表一次计算,3500 万智 能化电表每年产生 1.8T 次抄表记录和 600TB 压缩前数据。电表产生的数据量在 5~10 年内 将达到 PB 级。 针对这一情况,法国电力公司的研发部门成立了 Big Data 项目组,对数据进行挖掘分 析,从而实现对负荷曲线数据进行高速处理,使短期用户的用电趋势能被预测。通过借助大 数据技术研究海量数据的处理架构,形成能够支撑在规定延迟时间内的复杂、并行处理的能 力;可以在不同尺度上进行处理,使某些应用实现实时处理;实现电网调度等高级应用(电 网状态监测、电网自动愈合);对电网调度进行局部优化;通过用电需求侧管理,实现实时 电价及电网的可再生能源接入。 (4)丹麦维斯塔斯风力技术集团 丹麦维斯塔斯基于大数据的数据实时处理平台的经验值得借鉴。该企业在全球 65 个国 家,安装了 4.3 万台风力发电机。这些风力发电机的安装位置选择直接关系到发电能力和投 资回报,因此安装位置的选择要考虑温度、风向、风力和湿度等因素。 在过去的十年中,维斯塔斯安装的风力发电机及其他收集到的环境信息已遍及全世界, 累积气象数据 2.6PB。面对这一庞大数据,通过现有方案是无法及时处理的。 为此,维斯塔斯采用了 IBM 的 BigInsights 大数据平台,解决了对海量数据的分析与处 理问题,优化了风力涡轮机配置方案,从而实现了最高效的能量输出。该项目对天气建模以 优化风力发电机的安装位置,最大限度地提高发电量并延长设备使用寿命;将确定风力发电 机的安装位置所需的时间从几周缩短为几小时;纳入 2.5PB 的结构化和半结构化信息流之后, 预计数据量将增长到 6PB。 273 (5)中国电力科学研究院 中国电力科学研究院自 2013 年启动了大数据研究与应用工作。在基础理论研究方面, 开展了智能电网大数据理论基础和技术体系的研究,提出大数据发展驱动力和面临的挑战, 分析重点应用领域,确定研究框架,制定出技术发展路线图。在关键技术研究方面,整合了 业界主流的先进技术和数据处理理念,采用传统数据仓库与新型数据处理技术混搭的架构, 搭建了电力大数据平台,全面支撑电科院大数据研究工作。在应用研究方面,围绕支撑公司 运营发展、服务电网用户、服务社会与政府三条主线开展了应用场景的研究工作。目前已在 配电网可靠性关键因素分析、电网运营效能分析、关键时期电网供电保障预警分析、电力数 据支撑宏观经济形势评价与预测、用户用电行为分析、城市电力地图等领域开展专题研究工 作,并与多家网省电力公司合作开展研究成果落地的试点建设。 7 中国大数据产业发展展望 大数据已成驱动经济发展的新引擎,大 数 据 应用范围和应用水平将加速我国经济结构调 整、深度改变我们的生产生活方式。可以预见,在“十三五”期间:大数据基础设施建设持 续增长;大数据开放共享进度加快;政府大数据应用逐步深入;数据立法与监管日趋完善; 大数据合理合法流通加速;大数据与传统产业深度融合。 (1) 大数据基础设施建设持续增长 基础设施是大数据产业高速发展的前提和保障。因此,我国需要加快推进“宽带中国” 战略,加快下一代互联网、4G 通信网络、公共无线网络、电子政务网和物联网等网络基础 设施的建设。 (2) 大数据开放共享进度加快 在大数据时代,国家竞争力将部分体现为一国拥有数据的规模、活性以及该国解释、运 用数据的能力;而国家数据主权体现了对数据的占有和控制。2012 年 7 月 10 日,联合国发 布大数据政务白皮书《大数据促发展:挑战与机遇》指出,各国政府应当使用丰富的数据资 源,更好地响应社会和经济指标。在大数据时代,数据主权将是继边防、海防、空防之后, 另一个大国博弈的空间。 (3) 政府大数据深入应用 274 各级政府机关在日常管理中积累了大量的数据,但尚未挖掘或尚未充分挖掘这些数据的 价值。随着信息技术的迅猛发展,大数据的价值从量变到上升到质变,能够直观地呈现经济 社会运行的规律特点,提高政府决策的科学性、准确性,能够显著提高政府科学决策、监管 市场、公共服务、社会管理和生态文明建设等能力。在多种数据的融合过程中,政府应用场 景更加丰富,应用也将更加高级,数据挖掘和分析的结果对管理决策的辅助作用开始显现。 (4) 大数据相关立法加快 随着大数据时代的到来,收集、处理、传输、利用个人信息越来越简单,在促进社会经 济发展、给人们带来便利的同时给犯罪分子可乘之机,也可能侵犯当事人的人格利益,甚至 造成社会秩序的紊乱,危害社会和谐稳定,个人数据及隐私安全问题还是日益凸显。目前, 我国现无关于个人数据信息保护的专门法律法规,且大数据产业的行业力量、行业组织不够 强大,企业自律难以实现,政府的调控和保护能力不够强。将通过立法在我国尽快建立个人 信息和隐私保护制度,为公众创造一个良好的信息和隐私安全环境。 (5) 大数据与传统产业深度融合 随着大数据产业发展的日趋成熟,传统产业将越来越多地利用大数据实现产业转型升级。 一方面,大数据与信息、生物、高端制造、新能源等领域的深度融合和创新应用,将广泛带 动农业、制造业、服务业等传统产业转型升级;另一方面,基于数据挖掘应用的大数据产业 本身有着巨大的商业价值和社会价值,大数据与传统行业的结合,将成为全球下一个促发创 新、角力竞争、提高生产力的前沿领域。
还剩285页未读

继续阅读

下载pdf到电脑,查找使用更方便

pdf的实际排版效果,会与网站的显示效果略有不同!!

需要 10 金币 [ 分享pdf获得金币 ] 26 人已下载

下载pdf

pdf贡献者

bjyddxyc

贡献于2016-06-10

下载需要 10 金币 [金币充值 ]
亲,您也可以通过 分享原创pdf 来获得金币奖励!
下载pdf