英特尔开源分布式深度学习库BigDL:支持高性能大数据分析 资讯

如果你满足以下条件,你就应该使用 BigDL 来编写你的深度学习程序: 你想在数据存储(比如以 HDFS、HBase、Hive 等方式)于的同一个大数据(Hadoop/Spark)集群上进行大量数据的分析。

jopen 2017-01-16   23127   0

大规模网站架构 经验

NoSql产品 Nosql数据库就是为海量数据而生,可轻松实现集群规模的线性伸缩; (Hbase使用Zookeeper选举master) 安全性 99.99%的设计标准:无单点、在线更新、自动切换

jopen 2015-01-06   24549   0

一篇文章读懂大数据的黄色小象帮手––Hadoop 经验

语言「Pig」、类似 SQL 语法查询功能的「Hive」、专门用在 Hadoop 上的资料库系统「HBase」等。 Hadoop 生态系: 对 Hadoop 有初步的认识后,如果想进一步学习相关的

jopen 2015-03-13   25945   0
P11

  ubuntu下安装配置hadoop1.0.4 文档

javascript  helloworld hadoop mapreduce java hadoop hbase  当出现org.apache.hadoop.hdfs.server.namenode.SafeModeException:

zhangbc 2013-09-06   757   0
P7

  Hadoop 的一周学习心得 文档

一个可扩展的多master的,避免单节点失效的数据库 Chukwa:一个用于管理大规模分布式系统的数据集系统 HBase: 一个可扩展的,分布的数据库,支持对大表的结构化数据的存储 Hive:一个数据仓库的基础设施,提供数据汇总和特定查询。

xsh1019 2013-01-05   3560   0
P30

  淘宝Hadoop与数据分析 文档

分布式文件系统HDFS MapReduce框架 并行数据分析语言Pig 列存储NoSQL数据库 Hbase 分布式协调器Zookeeper 数据仓库Hive(使用SQL) Hadoop日志分析工具ChukwaHadoop生态系统

lxz 2014-01-03   3863   0
P19

  京东智能云服务平台 文档

移动网关JOS授权API个人数据存储家居健康长连接网关核心模型媒体车载设备联动引擎DB缓存云云存储语义解析引擎HBASE基本架构云海 8. 智能云超级APPhttps://gw.smart.jd.com长连接服务De

g4mm 2015-04-24   3968   0
方案  

impala笔记 经验

impala与hadoop生态结合紧密 (1) HDFS是impala最主要的数据源。 除此之外, impala也支持HBase,甚至支持S3存储。 (2) impala表定义存储在hive metastore中, 支持读取hive表定义。

er74 2015-07-26   61584   0

BigInsights:解读IBM基于Hadoop的数据分析平台 资讯

SQL Hive 是一种数据仓库基础架构,设计用于支持批量查询和分析 Hadoop 管理的文件 HBase 是一种以列为主的数据存储环境,设计用于支持 Hadoop 中的稀疏填充的大型表格 Flume 是一种用来数据收集并将其加载到

openkk 2012-02-25   30861   0
Hadoop  

指点迷津的现代数据数据架构之道 资讯

如Apache Spark内存处理引擎、Apache Hive数据仓库基础设施和Apache HBase NoSQL存储系统。 企业要将大数据纳入到其核心企业数据架构,势必需要改动或购置大数据即服

jopen 2016-03-09   4973   0
P33

  大型互联网应用架构设计 文档

NoSQLWide Column Store / Column Families Hadoop / HBase Cassandra Hypertable Document Store CouchDB MongoDB

wuhoufeng 2012-03-20   559   0
软件架构   Apache   PHP   Scala   Go  
P45

  zookeeper 集群安装 文档

Hadoop,使用Zookeeper的事件處理確保整個集群只有一個NameNode,存儲配置信息等. HBase,使用Zookeeper的事件處理確保整個集群只有一個HMaster,察覺HRegionServer聯機和宕機

efeil 2012-09-07   2739   0

如何用最小的代价完成爬虫需求 资讯

服务层是整个系统传输的中枢,相当于整个分布式集中的系统总线和数据总线。服务层提供一个 http/thrift 接口,读取数据库,输出配置信息。 a. 提供网站爬虫配置接口。从数据库中实时读取配置信息,响应业务层的配置请求。

jopen 2017-04-04   22186   0

新思路设计可视化大型微服务监控系统 经验

MySQL、Redis、消息队列),在有向图中加入基础组件,全面监控所有系统间的依赖以及调用情况。 支持更多 RPC 协议 (如 Thrift、gRPC)。 更多的 metric,实现精确到 API 的监控和展现。 使用智能算法自动发现异常(如系统访问量突变)。

JanRhodes 2018-01-11   24256   0

Dubbo:来自于阿里巴巴的分布式服务框架 经验

Dubbo支持多种协议,如下所示: Dubbo协议 Hessian协议 HTTP协议 RMI协议 WebService协议 Thrift协议 Memcached协议 Redis协议 Dubbo的模块组成 Dubbo以包结构

jopen 2014-12-02   136772   0

Akka 和 Storm 的设计差异 经验

热部署的需求主要是诸如修改排序算法之类的,替换某个算法模块,其他东西不变. 因为 Storm 是可以通过 Thrift 支持任何语言编程的,所以你如果是用python之类的脚本语言写的算法,想要换掉算法而不重启,

jopen 2015-10-22   21432   0

Airbnb开源ReAir工具,提供PB级数据仓库的迁移和备份 资讯

PB 级别的集群扩展。使用 ReAir 极其简单,你只要连接 Hive 的 metastore Thrift 服务,通过 MapReduce 进行数据复制。ReAir 可以兼容 Hive 和 Hadoop

jopen 2016-05-24   11277   0
Airbnb   ReAir  

扩展Apache CXF, 支持LoadBalance负载均衡 经验

CXF是一个比较流行的Web Service框架. ( 当然如果追求更高效, 还可以去搜索ice, thrift, protobuff之类的) 近一个月, 断断续续地又好好看了看CXF的一些代码, CXF的文档还是很欠缺

jopen 2012-09-29   36156   0

Hadoop I/O系统介绍 经验

当前市场上有很多类似的序列化系统,如Google的Protocol Buffers, Facebook的Thrift。这些系统反响良好,完全可以满足普通应用的需求。针对重复开发的疑惑,Doug Cutting撰

jopen 2013-04-04   30130   0

使用 ZeroMQ 实现分布式消息系统 经验

1 。在2011年, CERN 进行的一项 研究 ,在粒子加速器中比较了 CORBA,Ice, Thrift, ZeroMQ 和其他几个协议,ZeroMQ 排名最高。 在吞吐量上,ZeroMQ 比

jopen 2015-05-19   83152   0
1 2 3 4 5 6 7 8 9 10