专访王峰:Hadoop生态下一代计算引擎-streaming和batch的统一 资讯

后找到相对最优的,其实是磨出来的,经过实践找到的。 而关于读写性能,HBase用HDFS 做文件系统,而HDFS 是高吞吐而不是低延迟,所以本身不是随机访问能力很强的。而且我们情况更为困难,为了提

jopen 2016-03-02   33897   0
Hadoop  

Hermes:来自腾讯的实时检索分析平台 经验

意扩缩容机器; 周期性数据直接通过tdw处理落地到分布式文件系统; 实时数据加载采用先落地本地磁盘,最终落地到分布式文件系统,最终都由调度进程分发到计算层; 2、分析引擎设计

jopen 2014-12-30   38264   0

前所未有的神速,仅半年后就推出了 GNU Hurd 0.7 资讯

是一组运行在 Mach 微内核上的 服务器 ,用来实现 Unix 或其他核心(如 Linux)实现了的文件系统、网络协议、及文件访问控制等其他功能。 GNU Hurd Hurd 内核向来因其开发缓慢而被吐槽,不过,这次的0

wwwxd 2015-11-01   6304   0

数据网格平台 Infinispan 5.1.0.ALPHA1 发布 资讯

测试版本,代号为 Brahma。 Infinispan 5.1.0 将包含以下主要新特性: 完全 支持分布式查询 ,可在所有节点中并行查询,只需要简单调用 SearchManager.getClusteredQuery

openkk 2011-09-15   6315   0
Java  

MySQL推出Applier,可实时复制数据到Hadoop 资讯

例如,复制事件中的从服务器可能是一个数据仓库系统,如 Apache Hive ,它使用 Hadoop 分布式文件系统( HDFS )作为数据存储区。如果你有一个与 HDFS 相关的 Hive 元存储,Hadoop

jopen 2013-04-23   17156   0
Hadoop  

Java NoSQL数据库, OrientDB 2.0 正式发布 资讯

更快(很多用户都注意到有 40% 的性能提升),特别是在多个服务器分布式使用的时候,性能提升很大。OrientDB 使用新的二进制协议压缩,数据库大小占用文件系统的空间更少,I/O 吞吐量更高! 改进记录: Core

jopen 2015-01-20   10556   0

Docker开源容器运行时组件Containerd 资讯

将包含如下特性: 一个分布式的组件,它负责处理到注册中心的推送,无需与特定厂商关联。 一组网络原语,用来创建系统接口和 API,以便管理容器的网络命名空间。 主机级别的镜像和容器文件系统存储。 一组 GRPC

jopen 2017-01-03   9634   0
Docker  

9879版Windows 10细节公布:终于可隐藏任务栏搜索框 资讯

在尝试登陆或者解锁时等某些情况下可能会触发黑屏。此时唯一的解决方案就是长按电源键进行硬重启。 在新版中暂时不能连接到本地的分布式文件系统网络。 由于驱动程序安装重复可能会导致系统空间占用 20GB+ 以上。一旦系统处于低磁盘空间提醒的话可能会阻止安装并回滚到此前版本。

jopen 2014-11-13   4664   0

LinkedIn开源大数据计算引擎Cubert,并为此创建新的语言 资讯

提供一个合乎逻辑的声明性语言,然后被翻译成一个实物计划。这个计划执行分布式引擎(Map-Reduce、Tez 或者 Spark),在此物理操作者针对数据分区执行。最后,数据分区将由 HDFS 提供的文件系统抽象管理。 Cubert

jopen 2014-11-12   8535   0
Cubert  

助人就是助己:IBM宣布大规模资助开源大数据项目Spark 资讯

度。这项由2年前UC Berkeley AMP实验室开发的技术将中间输出结果保存在内存而不是分布式文件系统中,从而可以提供实时的数据分析能力。与Hadoop获得的资助相比,对Spark 的支持还很不够。

jopen 2015-06-15   18185   0
Spark  

Apache Storm 1.0版本重拳出击:前代版本3倍性能表现 资讯

的新型分布式缓存API,或者所谓“拓扑”——其规模可达数GB,并在不同节点之间实现共享且利用命令行进行更新。换言之,管理员不再需要以手动方式对各个节点进行重新部署。另外,该数据提取自本地文件系统,但亦可被存储在Hadoop

jopen 2016-05-10   9012   0
技术  

数据网格平台 Infinispan 5.0.1.FINAL 发布 资讯

Infinispan公开了一个CacheStore接口和几个高性能的实现,包括JDBC CacheStores、基于文件系统的CacheStores以及Amazon S3 CacheStores等等。CacheStores可用作“温启动(warm

fmms 2011-09-12   6280   0
Java  

NCache的基础版本已实现开源 资讯

企业版)。 同样,缓存依赖也只在企业版本中才支持。这种特性允许对某些内容的改动进行监控,例如文件系统和数据库表,在改动发生后自动使缓存失效。 NCache在开源版本中去除这一特性的做法让人有些摸不

jopen 2015-03-24   10601   0
NCache  

Apache Mahout的推荐引擎Taste介绍 经验

时在mahout中对一些推荐算法进行了MapReduce编程模式转化,从而可以利用hadoop的分布式架构,提高推荐算法的性能 。 在Mahout0.5版本中的Taste, 实现了多种推荐算法

jopen 2013-06-25   39555   0

Black Duck 发布2014年度最佳开源新秀 资讯

versioned, peer-to-peer file system. IPFS 是点对点的分布式文件系统。在某些方面,这很类似于原始的 Web 目标,但是 IPFS 最终会更像单个比特流群交换的 git

jopen 2015-01-28   7450   0
开源  

2016年热门技术方向预测 资讯

日益增长的Kafka:数据流连接数据库到强大的现代业务app Kafka将成为企业数据基础架构的重要结合点,促进建立智能化、分布式的系统。随着IoT、全球性部署、以及微服务的增长,在数据被存储在数据库之前捕捉和控制数据,变得越来

jopen 2016-01-09   4905   0

Ceph 性能调优 经验

介绍 Ceph是一个 Linux PB 级分布式文件系统。一个让ceph强大的原因就是ceph提供了一系列的可调整的选项。你可以控制ceph管道中的多少数据以及多少操作被缓存。你可以定制不同的清除策略,

jopen 2014-09-10   79204   0
Ceph   Linux  

概念网络操作系统 Plan 9 经验

更是贯彻的执行了这一原则,包括系统进程都可以用操作文件的方式来控制;感兴趣的可以去官网看文档, 看看Plan 9 支持的文件系统 ,更加体现了“一切皆文件”,比如ftpfs,wikifs 等等,访问整个互联网简直就是访问你自己的硬盘。

jopen 2012-01-12   21502   0
Ubuntu  
P111

  HBase 官方文档 文档

配置,数据模型使用入门 Abstract 这是 Apache HBase的官方文档, Hbase是一个分布式,版本化(versioned),构建在 Apache Hadoop和 Apache ZooKeeper上的列数据库

lanbocui 2012-08-21   631   0
P83

  HBase 官方文档-中文翻译 文档

配置,数据模型使用入门 Abstract 这是 Apache HBase的官方文档, Hbase是一个分布式,版本化(versioned),构建在 Apache Hadoop和 Apache ZooKeeper上的列数据库

wangwenjun0 2012-07-15   5986   0
1 2 3 4 5 6 7 8 9 10