运维角度浅谈MySQL数据库优化 经验

系型数据库某方面不足,渐渐大多数公司已经将部分业务数据库存放到NoSQL中,如MongoDB、HBase等。数据存储方面采用分布式文件系统,如HDFS、GFS等。海量数据计算分析采用Hadoop、Sp

jopen 2015-06-09   31894   0

国外程序员整理的系统管理员资源大全 资讯

phpList -PHP编写的时事通讯管理器 NOSQL NOSQL数据库 列族 Apache HBase - Hadoop数据库,一个分布式的大数据存储 Cassandra -分布式数据库管理系统,设计用于处理大量数据跨多个服务器。

jopen 2015-01-18   61556   0

基于大数据与深度学习的自然语言对话 资讯

90+位讲师,16大分论坛,Databricks公司联合创始人、Apache Spark首席架构师辛湜,Hadoop、HBase和Thrift项目的PMC成员和Committer、Kudu的发明人Todd Lipcon等海外专家将亲临

jopen 2015-12-04   36649   0
P8

  淘宝网高性能可伸缩架构技术探秘 文档

升系统的可用性,这也是目前很多NOSQL产品所采用的策略,包括facebook 的cassandra,apache hbase,google bigtable等,这些产品非常适合一些非结构化的数据,比如key-value形

shockwave 2014-01-07   431   0
P40

  数据存储和统计 文档

那么要怎么才能遍历4个库的内容呢。 方法1:循环查4个库,将4个库的数据加到一起,就是总数 方法2:将数据导入到诸如hbase之类的存储上。 方法3:将数据放置于某个分布式缓存上。 不错貌似每个方法都有一些弊端,具体什么弊端呢?

Brackboy 2014-10-14   1919   0
方案   SQL  

时序数据库技术体系 – Druid 多维查询之Bitmap索引 经验

在常见的时序数据库中,InfluxDB和HiTSDB都使用了倒排索引来加速多维度查询,倒排索引会首先在内存中构建并持久化到文件(或HBase),在使用时再将索引加载到内存。 文章总结 这是很早之前花时间将之前研究的Bitmap索引知

llzzcc5656 2018-06-19   30184   0

Avro简介 经验

一个独立的项目,Avro是一个基于二进制数据传输高性能的中间件。在Hadoop的其他项目中例如HBase(Ref)和Hive(Ref)的Client端与服务端的数据传输也采用了这个工具。Avro是一个数据序列化的系统。Avro

jopen 2013-05-23   291118   0

大数据处理框架Apache Spark入门 经验

Spark用HDFS文件系统存储数据。它可用于存储任何兼容于Hadoop的数据源,包括HDFS,HBase,Cassandra等。 API : 利用API,应用开发者可以用标准的API接口创建基

jopen 2015-11-16   61047   0
P46

  JProfiler 9.2入门教程 文档

该模块给出了5中预定义的数据库探针,JDBC、JPA/Hibernate/MongDB/Cassandra/HBase 可根据自身程序所采用的数据库框架选择合适的探针,来进行性能监控。 注:探针(Probe):Jp

aj1031689 2017-09-29   1224   0
P7

  淘宝网采用什么技术架构来实现网站高负载的 文档

升系统的可用性,这也是目前很多NOSQL产品所采用的策略,包括facebook 的cassandra,apache hbase,google bigtable等,这些产品非常适合一些非结构化的数据,比如key-value形

zhihuaozu 2011-12-30   630   0
P51

  深入学习MongoDB 文档

数据1.key-value存储 5. 5NoSQL四大类ExamplesCassandra, HBase, Riak典型应用场景分布式的文件系统数据模型以列簇式存储,将同一列数据存在一起强项查找速度快

lihang_net 2012-03-31   14615   0

两年内从零到每月十亿 PV 的发展来谈 Pinterest 的架构设计 经验

方案。 集群 —— 所有事情都是自动化的 示例: Cassandra, MemBase, HBase 结论: 太可怕了,不是在现在,可能在将来,但现在太复杂了,有非常多的故障点 属性: 自动化数据分布

jopen 2013-04-20   47543   0
P13

  国外程序员整理的系统管理员资源大全 文档

phpList -PHP编写的时事通讯管理器 NOSQL NOSQL数据库 · 列族 o Apache HBase - Hadoop数据库,一个分布式的大数据存储 o Cassandra -分布式数据库管理系统,设计用于处理大量数据跨多个服务器。

itudoumao 2015-03-31   4235   0
P17

  Zookeeper 入门 文档

集群管理的一个必不可少的模块,它主要用来控制集群中的数据,如它管理 Hadoop 集群中的 NameNode,还有 Hbase 中 Master Election、Server 之间状态同步等。 本文介绍的 Zookeeper

mvpzhou 2013-10-08   554   0

一位资深程序员大牛给予Java初学者的学习路线建议 经验

定是相关的。而且在研究一门新技术时,切忌朝三暮四。有的同学今天去整整大数据,搞搞Hadoop、hbase一类的东西。过不了一段时间,就觉得没意思,又去研究分布式缓存,比如redis。然后又过不了一段时

znrz7519 2017-08-16   36480   0

京东消息中间件演进之路:三次更迭,八大突破 经验

 如何记录消息轨迹? JMQ消息轨迹功能整体流程和AMQ基本相同,主要不同点在于JMQ将消息轨迹相关信息存储到HBase,这样JMQ消息轨迹信息的存储周期变的更长,可以存储的量也更大了,并且采用多种手段优化之后性能也得到了极大的提升。

zhenni8955 2017-01-22   22164   0

陈皓谈云计算:拼的就是运维 资讯

里也有N多的中间件框架和技术。另外分布式文件系统 GFS/TFS,分布式计算系统 Hadoop/Hbase 等等,分布式的东西都不神秘了。技术的实现在以前可能是问题,现在不是了。 对于云计算工程方面,现在最难的是运维。管

jopen 2014-04-15   27584   0
P74

  Hadoop权威指南-中文版(前三章) 文档

Pig实践提示与技巧 363 Hbase简介 366 12.1  HBase基础 366 12.2  概念 367 12.3  安装 371 12.4  客户端 374 12.5  示例 377 12.6  HBase与RDBMS的比较 385

我是第一de 2011-10-03   3243   0

当你刷Facebook的时候你应该注意什么 资讯

上能搜索到许多相关的架构示意图。Facebook 的大数据处理技术非常先进,他们工具栈包括 Hive、Hadoop、HBase、BigPipe、MySQL、Memcached 和 Thrift 等。所有这些都存放在 Facebook

jopen 2017-04-18   18837   0
P20

  Apache Mahout 简介:通过可伸缩、商业友好的机器学习来构建智能应用 文档

的随机决策实现,它提供了分类、关联规则、用于识别文档主题的 Latent Dirichlet Allocation 以及许多使用 HBase 和其他辅助存储选项的类别选项。除了这些新的实现之外,还可以找到许多演示、文档和 bug 修复包。

bbcpeng 2013-09-13   3757   0
1 2 3 4 5 6 7 8 9 10