创业公司DataStax为企业提供基于开源NoSQL数据库Apache Cassandra的 Hadoop构建方案。公司近日宣布完成1100万美元B轮融资。这家位于旧金山海湾区的创业公司于2010年建立，目前公司有30名员工。本次融资由 Crosslink Capital和Lightspeed Venture Partners领投。公司还透露，其最新的企业级产品将在今年第四季度发行。

互联网的发展可以用数据来衡量，大数据被世界经济论坛称为是新的石油、新的资产类别，其革命性不亚于蒸汽机车、电网、钢铁、空调及无线电。

大数据正在改变我们的生活，影响我们思考和解决问题的方式，为了适应时代的潮流，组织必须学会用数据说话，如果坐拥大量的数据却束手无策或无动于衷，那和没有数据是一样的。但是，在进行数据分析时，完全的自我创造是不可取的，因为有大量可以遵循和借鉴的经验能节约大量的时间和成本。最近， OrionX.net 的联合创始人 Shahin Khan 就发表了一篇文章，介绍了他的 团队从大数据、物联网和云计算市场上总结的经验和规律 。

大数据正在改变我们的生活，影响我们思考和解决问题的方式，为了适应时代的潮流，组织必须学会用数据说话，如果坐拥大量的数据却束手无策或无动于衷，那和没有数据是一样的。但是，在进行数据分析时，完全的自我创造是不可取的，因为有大量可以遵循和借鉴的经验能节约大量的时间和成本。最近，OrionX.net 的联合创始人 Shahin Khan 就发表了一篇文章，介绍了他的团队从大数据、物联网和云计算市场上总结的经验和规律。

编者注： 原文是 FirstMark Capital 的 Matt Turck 的 文章 。本文全面总结了大数据领域的发展态势，分析认为尽管大数据作为一个术语似乎已经过气，但是大数据分析与应用才刚刚开始兴起，在与 AI、人工智能等新兴技术的结合下，大数据的机会也许要比大家想象的还要大。2016年 大数据版图高清版可 到此处下载 。

要写出高性能的Java程序，要对JVM有所了解： Java代码执行； Java内存管理。

最好开启-XX:+UseCompressedOOPS 在JDK6UPDATE23以后会默认开,小于32G会自动开启,如果内存过小要去掉要显示去掉。

分布式java应用系列培训

业务爆炸式增长、多元化；问题开始暴露，继续干活吧…业务爆炸式发展常见问题系统越来越复杂了；人越来越多了；系统的维护性越来越差。关键招拆分怎么拆按业务领域如商品、交易；抽象共同点如用户信息。拆分拆分后系统交互的问题强耦合的交互RPC为了统一，通常服务化。松耦合的交互消息两者共同的挑战网络通信网络通信实现的典型问题选择协议定义协议包Server启动监听客户端建立连接网络IO处理序列化/反序列化选择协议TCP/IP传输可靠；适用范围广。UDP/IP传输不可靠，高效。

网上教程有很多关于Hadoop配置的，但是每一个教程都对应了一个版本信息，有一些教程也存在很大的问题，配置环境，系统环境都没说清楚。在此我将记录下来从零搭建Hadoop2.7.1的过程，以及搭建过程中所遇到的一些问题。

Cascading是一个架构在Hadoop上的API，用来创建复杂和容错数据处理工作流。它抽象了集群拓扑结构和配置来快速开发复杂分布式的应用，而不用考虑背后的MapReduce。

Apache Sqoop（SQL-to-Hadoop） 项目旨在协助 RDBMS 与 Hadoop 之间进行高效的大数据交流。用户可以在 Sqoop 的帮助下，轻松地把关系型数据库的数据导入到 Hadoop 与其相关的系统 (如HBase和Hive)中；同时也可以把数据从 Hadoop 系统里抽取并导出到关系型数据库里。

有时候我们在项目中会遇到输入结果集很大，但是输出结果很小，比如一些 pv、uv 数据，然后为了实时查询的需求，或者一些 OLAP 的需求，我们需要 mapreduce 与 mysql 进行数据的交互，而这些是 hbase 或者 hive 目前亟待改进的地方。

基于Hadoop的大数据应用分析5.东软基于HADOOP的大数据应用建议内容提要1.大数据背景介绍2.HADOOP体系架构3.基于HADOOP的大数据产品分析4.基于HADOOP的大数据行业应用分析IDC定义：为了更为经济的从高频率获取的、大容量的、不同结构和类型的数据中获取价值，而设计的新一代架构和技术。大数据定义及特点大数据对系统的需求High performance–高并发读写的需求高并发、实时动态获取和更新数据HugeStorage–海量数据的高效率存储和访问的需求类似SNS网站，海量用户信息的高效率实时存储和查询

sqoop是Apache顶级项目，主要用来在Hadoop和关系数据库中传递数据。通过sqoop，我们可以方便的将数据从关系数据库导入到HDFS，或者将数据从HDFS导出到关系数据库。

什么是 Chukwa，简单的说它是一个数据收集系统，它可以将各种各样类型的数据收集成适合 Hadoop 处理的文件保存在 HDFS 中供 Hadoop 进行各种 MapReduce 操作。Chukwa 本身也提供了很多内置的功能，帮助我们进行数据的收集和整理。

hadoop集群数据节点gmond安装

转眼间已经接触了hadoop两周了，从之前的极力排斥到如今的有点喜欢,刚开始被搭建hadoop开发环境搞得几乎要放弃，如今学会了编写小程序,每天都在成长一点挺好的，好好努力,为自己的装备库再填一件武器挺好的，学习在于坚持不懈,加油！！！

之前在学校的时候一直就想学习大数据方面的技术，包括hadoop和机器学习啊什么的，但是归根结底就是因为自己太懒了，导致没有坚持多长时间， 加上一直为offer做准备，所以当时重心放在C++上面了（虽然C++也没怎么学），计划在大四下有空余时间再来慢慢学习。现在实习了，需要这方面的知 识，这对于我来说，除去校招时候投递C++职位有少许影响之外，无疑是有很多的好处。