程序员总爱重新发明轮子，于是做了个轮子汇总。

大数据我们都知道hadoop，可是还会各种各样的技术进入我们的视野：Spark，Storm，impala，让我们都反映不过来。为了能够更好 的架构大数据项目，这里整理一下，供技术人员，项目经理，架构师选择合适的技术，了解大数据各种技术之间的关系，选择合适的语言。

Docker Registry项目介绍docker仓库用来保存我们的images，当我们创建了自己的image之后我们就可以使用push、pull命令从公有或者私有仓库下载、上传镜像；DockerRegistry私有服务器用于保存管理我们的私有镜像。

MAVEN是Apache组织开源项目，是项目管理工具；MAVEN主要服务于Java平台的项目构建、依赖管理和项目信息管理；官网：http://maven.apache.org什么是MAVEN培训对象大纲生命周期坐标、依赖聚合、继承仓库Maven实战安装、入门私服仓库。

海量数据处理平台架构一般网站把用户的访问行为记录以apach日志的形式记录下来了，这些日志中包含了下面一些关键字段：client_ip,user_id,access_time,url,referer,status,page_size,agent因为需要统一对数据进行离线计算，所以常常把它们全部移到同一个地方。简单算了一下：（1）网站请求数：1kw/天（2）每天日志大小：450Byte/行*1kw=4.2G，（3）日志存储周期：2年一天产生4.5G的日志，2年需要4.2G*2*365=3.0T解决方案：为了方便系统命令查看日志，不压缩，总共需要3.0T的空间，刚好有一些2U的服务器，每台共1T的磁盘空间。

Hadoop 是Google MapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式，让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样， MapReduce的run-time系统会解决输入数据的分布细节，跨越机器集群的程序执行调度，处理机器的失效，并且管理机器之间的通讯请求。这样的模式允许程序员可以不需要有什么并发处理或者分布式系统的经验，就可以处理超大的分布式系统得资源。

本文档是Hadoop部署文档,提供了Hadoop单机安装和Hadoop集群安装的方法和步骤,本文档希望让Hadoop安装部署更简单(Easy)。 本安装文档适用于 centos 5 /red hat 5.2 32位,64位版本,ubuntu 等操作系统 需要做部分修改。

  HDFS以透明方式校验所有写入它的数据，并在默认设置下，会在读取数据时验证校验和。针对数据的每个io.bytes.per.checksum(默认512字节)字节，都会创建一个单独的校验和。 数据节点负责在存储数据及其校验和之前验证它们收到的数据。 从客户端和其它数据节点复制过来的数据。客户端写入数据并且将它发送到一个数据节点管线中，在管线的最后一个数据节点验证校验和。

在技术支持VPN（IPSec）配置的过程中，有些过程是比较痛苦的。遂写成这篇纯粹的“配置”文档，希望能够减轻彼此的痛苦，对大家以后在测试、上点，技术排错，定位问题有所帮助。本文档不包括所有的配置命令细节，所有的配置命令细节请参考相关的配置手册。

美芽在萌芽过程中，同很多初创产品一样，有常见的三个特点：较小的用户规模、快速的需求变化以及尚未完善的团队。 1. 较小的用户规模。虽然偶有例外，譬如“足迹”的爆发式增长，传言 DAU 有 300 万，而一般的产品不会有这种运气；

大数据相关技术、Hadoop生态、LinkedIn内部实战

jquery基础与实战

海量并行处理 (Massively Parallel Processing) DBMS 基于 PostgreSQL 8.2—(GP3.3.6.1 based on 8.2.13) 相同的客户端功能 增加支持并行处理的技术 增加支持数据仓库和BI的特性 外部表(external tables)/并行加载(parallel loading) 资源管理 查询优化器增强(query optimizer enhancements) 表分区 压缩、列存储

Greenplum数据库海量并行处理(Massively Parallel Processing)DBMS基于PostgreSQL8.2相同的客户端功能增加支持并行处理的技术增加支持数据仓库和BI的特性外部表(externaltables)/并行加载(parallel loading)资源管理查询优化器增强(queryoptimizerenhancements)S1002Network Configuration Greenplum基本体系架构客户端接口和程序

访问系统的入口数据库侦听进程(postgres)处理所有用户连接建立查询计划协调工作处理过程管理工具系统目录表和元数据（数据字典）不存放任何用户数据每段（Segment）存放一部分用户数据一个系统可以有多段用户不能直接存取访问所有对段的访问都经过Master数据库监听进程(postgres)监听来自Master的连接SegmentGreenplum数据库之间的连接层进程间协调和管理基于千兆以太网架构属于系统内部私网配置支持两种协议。

联机事务处理系统（On-line Transaction Processing）OLTP系统：也称为生产系统，它是事件驱动、面向需求的，比如银行的储蓄系统就是一个典型的OLTP系统。 OLTP在使用过程中积累了大量的数据。 关系数据库概念提出之后，联机事务处理一直是数据库应用的主流。

Hadoop 由 Apache Software Foundation 公司于 2005 年秋天作为 Lucene 的子项目 Nutch 的一部分正式引入。它受到最先由 Google Lab 开发的 MapReduce 和 Google File System 的启发。2006 年 3 月份，MapReduce 和 Nutch Distributed File System (NDFS) 分别被纳入称为 Hadoop 的项目中。<br> Hadoop并不仅仅是一个用于存储的分布式文件系统，而是设计用来在由通用计算设备组成的大型集群上执行分布式应用的基础框架。它由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。

某些Ruby、Python和Javascript的新手程序员常常抱怨这些语言太低端，感觉他们没有学习到那些真正“高端”的编程语言。本文将详细讨论“高端”的编程语言是否真的高端？

概述：某些Ruby、Python和Javascript的新手程序员常常抱怨这些语言太低端，感觉他们没有学习到那些真正“高端”的编程语言。本文将详细讨论“高端”的编程语言是否真的高端？

Oracle 数据库维护