大数据架构
我们需要消息中间件吗? · 一切的变化都可以看做是一系列独立事件的变化的组合 · 将峰值熨平,减少对系统的冲击同步转异步,提高吞吐量,量,平换系统的压力 · 解决事件的重发(回放)实现现实中消息的传播方式 · 充当简单的ETL功能,数据流的分发和汇总,通过pipeline的方法处理数据
Flume是Cloudera提供的一个分布式、可靠、和高可用的海量日志采集、聚合和传输的日志收集系统,支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
数据分析数据一般以文件形式或者单个数据库的方式组织,而数据挖掘必须建立在数据仓库或是分布式存储的基础之上。
在大数据爆炸的时代,跨多个行业的公司都巧妙地汇总数据来精确定位数字、趋势和模式,这是他们改善服务的关键。但随着数据越来越繁琐和复杂,向管理这些数据和提取数据价值的组织提出了一个挑战。在过去的几年中,许多有价值的分析解决方案进入市场,在2013年,3D可视化技术会是一种新的管理、分析和交互数据的方式吗?
公司需要搭建一套性能自动化测试云平台用于性能测试回归及执行,以便提升性能测试效率,减少人力回归成本以及完善部门容量规划。在压测监控数据收集方面,考虑在jmeter-plugin跟serveragent源码的基础上改造一套数据收集插件。
图计算用于挖掘人、物和实体之间的潜在不易观察的行为和联系,而这些联系很难用传统数据库示。
消息中间件作为一个中间层软件,它为分布式系统中创建、发送、接收消息提供了一套可靠通用的方法,实现了分布式系统中可靠的、高效的、实时的跨平台数据传输。
MapReduce-like是说架构上和多数分布式计算框架类似,Spark有分配任务的主节点(Driver)和执行计算的工作节点(Worker)
它就是一个发送接收处理消息的协议,但是这个协议发送的消息,既不是二进制的东东也不是字符串,而是XML。
XMPP(可扩展消息处理现场协议)是基于可扩展标记语言(XML)的协议,它用于即时消息(IM)以及在线现场探测。