Hive代码组织及架构简单介绍 经验

trunk/data     hive测试所用数据 trunk/ivy     管理hive跟hadoop各个版本之间的依赖 trunk/lib     hive运行期间依赖的jar trunk/testlibs

jopen 2013-11-10   23699   0
P3

  QJM源码分析 文档

QJM源码分析 Hadoop QJM的实现用到了paxos算法,pasos算法是是莱斯利·兰伯特于1990年提出的一种基于消息传递的一致性算法。 这个算法被认为是类似算法中最有效的。pasos算法用在hadoop

光荣复兴 2014-03-30   1921   0

EMC存储上的大数据–HDFS存储可靠性 资讯

cn/JieJueFangAn/13145.html 企业为了从其 Hadoop 分析投资中获取最大价值,企业需要富有弹性的大数据存储基础架构。在传统 Hadoop 集群中,用户必须依赖于自定义的子数据块 CRC 校验和来提供硬件层数据保护,并且在

jopen 2015-01-13   9330   0
HDFS  

分布式的内存平台Apache Ignite v1.6.0 发布 资讯

流计算和CEP 计算网格 服务网格 Ignite文件系统 分布式数据结构 分布式消息 分布式事件模型 Hadoop加速 Spark共享RDD 更新日志 Ignite .NET: Added LINQ Provider

jopen 2016-05-23   15501   0

日志系统,Apache BookKeeper 4.2.4 发布 资讯

),Write Ahead Log在数据库里面很常见, 实际上BookKeeper的创意来自于hadoop里面的NameNode,NameNode在把数据写入内存之前先写入磁盘日志,但是写入本地磁盘有

jopen 2015-01-21   6507   0

互联网公司总结的Java技术知识点 经验

级别 大规模分布式系统:CAP理论;BASE理论;Paxos算法;ZooKeeper框架;Hadoop YARN;MapReduce;Storm;Spark 数据 数据访问:Hibernate;iBatis

jopen 2015-03-09   66997   0
技术  

Spark Streaming 源码解析系列 经验

Spark Streaming 史前史(1) 作为跑在商业硬件上的大数据处理框架,Apache Hadoop 在诞生后的几年内(2005~今)火的一塌糊涂,几乎成为了业界处理大数据的事实上的标准工具:

dfd7 2015-12-06   17433   0

高性能分析数据库 Impala 升级为 Apache 顶级项目 资讯

 Impala 孵化成功,升级为顶级项目。 Impala 是一个高性能分析数据库,可针对存储在 Apache Hadoop 集群中的 PB 级数据进行闪电般快速的分布式 SQL 查询。Impala 还是一个现代化,大规模分布式,大规模并行的

jopen 2017-11-29   28846   0

与ZooKeeper相似的项目BookKeeper介绍 经验

),Write Ahead Log在数据库里面很常见, 实际上BookKeeper的创意来自于hadoop里面的NameNode,NameNode在把数据写入内存之前先写入磁盘日志,但是写入本地磁盘有个问题:如果这台机器的磁盘坏了,

fmms 2011-12-07   119331   0

又迈进一大步:微软开源实体框架 资讯

语言库。同时今年年底,微软公司宣布将所赞助的项目 Node.js 开发平台和大数据分析工具 Apache Hadoop 将移植到 Windows 上,它甚至使 Linux 可以运行在该公司 Azure 云计算平台上。

openkk 2012-07-31   5408   0
微软  

Spring Data Redis 1.0.0.RC1 发布 资讯

persistence is located here. Hadoop - Spring based configuration of Hadoop jobs and a POJO programming

fmms 2011-10-20   13038   0
Java   Spring  

数据仓库Hive管理软件 phpHiveAdmin 经验

这是一个由php编写的hadoop hive查询工具,可以方便的查询hive中的数据和相关信息。本软件遵循GPL3许可协议 下载当前版本,请访问phpHiveAdmin @ github.com获取最新源码

fmms 2012-02-19   32272   0

汤子楠:飞天、ODPS经历了许多血淋淋教训 资讯

就像操作系统上的各个应用,这些应用分别满足阿里云的客户对于不同的使用场景的需求。 InfoQ:你刚才提到飞天用 C++ 来写的。Hadoop 这套生态系统,更多是用 Java 实现的,为什么飞天选择C++? 汤子楠: 我们可以讨论很多

jopen 2014-03-19   30451   0
P50

  Java计算池技术架构 文档

千兆网络,分层 负载均衡-lvs Terracotta, JVM-level cluster 存储池-hadoop 数据库集群-Continuent,squeoia,mysql 自动化维护管理-cfengine+SVN

huafenged 2011-08-18   518   0
P6

  HDFS架构设计 文档

引言 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系

yun007x 2010-12-28   6248   0

Spark 入门(Python、Scala 版) 经验

任务分配到多台计算机上,提供高效内存计算。如果你熟悉Hadoop,那么你知道分布式计算框架要解决两个问题:如何分发数据和如何分发计算。Hadoop使用HDFS来解决分布式数据问题,MapReduce计

efbb 2015-05-08   210961   0

微店的大数据平台建设实践与探讨 经验

另外支持业务端直接使用HDFSClient写入HDFS,这种方式目前主要存在于以前遗留的一些数据收集上。因为Hadoop集群使用白名单方式对写入端IP进行授权,如果存在大量的这类客户端,会严重降低数据的传输效率,同时提高了客户端的维护成本。

jopen 2015-09-22   38189   0

十种程序语言帮你读懂大数据的“秘密” 资讯

,那 Java 通常会是你最基的选择。 Hadoop and Hive 为了迎合大量数据处理的需求,以 Java 为基础的工具群兴起。Hadoop 为处理一批批数据处理,发展以 Java 为基

jopen 2014-07-31   21663   0

新一代弹性云计算平台 Cloudxy 发布 0.1 版 资讯

hlfs (hdfs log structrue filesystem 的缩写)是一个在hadoop hdfs 文件系统之上实现的log structrue filesystem - like

jopen 2011-11-28   8803   0

谈谈分布式计算的算子层 经验

然是统一的。 Summingbird在API层面统一了Storm上和Hadoop上的作业,对于Hadoop上任务的编写借助的是Cascading,属性上看更多的是一种 适配 的角色,虽然Summingbird也称为Lambda

jopen 2015-01-16   18290   0
1 2 3 4 5 6 7 8 9 10