分析型数据库 InfiniDB 经验

Edition (社区版)提供一个可伸缩的分析型数据库引擎,主要为数据仓库、商业智能、以及对实时性要求不严格的应用而开发。基于 MySQL 搭建。包括对查询、事务处理以及大数据量加载的支持。 项目主页:

fmms 2011-12-10   18892   0
P5

  淘宝实时数据传输平台-TimeTunnel介绍 文档

作者在工作中遇到了类似流式数据实时接入的业务场景,所以对淘宝的实时数据仓库这一块做了一些调研和了解。本文从业务场景和设计上介绍了淘宝的TimeTunnel工具,文中的图片来自淘宝数据仓库团队交流过程中的sildes,也参考了一些相关文档。

daliao8888 2014-11-26   6634   0

Java Spring中同时访问多种不同数据库 经验

开发企业应用时我们常常遇到要同时访问多种不同数据库的问题,有时是必须把数据归档到某种数据仓库中,有时是要把数据变更推送到第三方数据库中。使用Spring框架时,使用单一数据库是非常容易的,但如果要同时访问多个数据库的话事件就变得复杂多了。

tsaw8002 2016-12-20   15743   0
P35

  pivotal-bigdata-suite-overview 文档

etc) 丰富的第三方工具支持(GoldenGate, DataStage, Pentaho Kettle, etc) 21. BDS客户生产系统的一组数字20 万亿(Trillion)行– 事实表(fact

gavin_xzw 2017-04-09   10339   0
方案   报告   Apache   Intel   Go  
P50

  Hadoop 实战手册 文档

4 #系统和组建的依赖关系 5 #生产环境的部署结构 6 5. Red hat Linux基础环境搭建 6 #linux 安装 (vm虚拟机) 6 #配置机器时间同步 6 #配置机器网络环境 7 #配置集群hosts列表

ka520 2015-11-14   434   0

Hadoop家族学习路线图 经验

是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。 Apache Pig

jopen 2013-11-10   199151   0

Hadoop生态系统学习路线 经验

是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。 Apache Pig

jopen 2014-10-29   43441   0

基于MySQL的分页程序完全解决方案(含普通分页/分段分页/原始分页/微博的since_id类分页) 经验

即快照 4) 传统的分页, 分段式分页(每页内分为多段)归根结底是对数据集做一次切割, 映射到mysql的sql语法上, 就是根据输入求得limit子句, 适用场景为数据集变化频率低 5) since_id类分页

jopen 2012-07-17   27501   0

在开发中,如果编程语言(例如PHP)和SQL(例如MySQL)都能实现某个功能,我们是用编程语言实现还是SQL?还是具体问题具体分析? 问答

目前见到的性能瓶颈最多的就是在数据库层,关系数据库的横向扩展虽然在发展,但是还没有被广泛接受的稳定方案,所以近几年 NoSQL 会有这么快的发展。而 application server 的横向扩展就成熟许多了,增加 application server 之后只需要在 web server 上的负载均衡列表里加上新的机器就好了。 既然数据库横向扩展比 application server 横

zzzluju 2012-07-05   8037   1
数据库   负载均衡   C/C++   Go   SQL  

hadoop家族介绍 资讯

是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。 Apache

jopen 2015-08-31   28652   0
Hadoop  

我的编程之路——知识管理与知识体系 经验

pache、Nginx,再到后端的Laravel、Spring、Rails、NodeJs,还有MySQL、Redis、Mongodb,有时候还要做些CI,用用Hadoop、Docker、Spark做做

mango_yao 2016-06-29   67627   0
Java  

Apache Kylin在百度地图的实践 资讯

智能组是最早的一批实践者之一。Apache Kylin在2014年11月开源,当时,我们团队正需要搭建一套完整的大数据OLAP分析计算平台,用来提供百亿行级数据单条SQL毫秒到秒级的多维分析查询服务,

jopen 2016-01-05   55700   1
P5

  Greenplum 技术浅析 文档

Greenplum技术浅析 说起Greenplum这个产品,最早是SUN来推他们的数据仓库产品DWA时接触到的,对这个由PgSQL堆叠出来的数据库产品还不是很了解,当时的焦点还在DWA本身的硬件上,当然不可否认,DWA还是有一些特点的。

bluerocly 2012-04-27   2941   0
P29

  Hive开发资料 文档

Hive是一个基于Hadoop的数据仓库平台。通过hive,我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语 言:HQL,能够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。

东皇太一 2011-07-19   479   0
P40

  Pentaho 学习笔记 文档

在创建报表时解析数据库比较容易。 5. Pentaho Data Integration 这是kettle etl工具。 6. Schema Workbench 帮助你创建rolap的图形化工具。这是为分析准备数据的必须步骤。

shiqilin987 2013-12-25   5019   0

《京东技术解密》读书笔记:坚持技术十年如一日 经验

杜绝跨系统直接读取数据库; ③ 存储上也做了升级:.NET时代的SQL Server换成了MySQL,缓存上由主要使用Memcached转为结合Redis共同使用; (5)时至今日, 除了少数

jopen 2016-01-10   30257   0
京东  

大数据-数据采集和集成 经验

种数据库的Log日志文件进行分析,然后进行复制。 那对于这块如果要自研来实现有无可能,对于Mysql来说由于采用Binlog日志方式,类似淘宝的Otter已经可以完整的实现数据库的实体同步复制。如

BraHewitt 2016-04-13   27311   0

光环国际公开课—Hadoop大数据处理技术及其实践 问答

教学过程告别理论宣讲,提供一对一真实案例分析,让您告别纸上谈兵,快速玩转 hadoop 系列工具 模块(三): 搭建实验环境,共同探讨 hadoop 技术解决方案 学以致用,快速掌握传统数据中心向云计算中心

3173130229 2014-12-28   14984   0
数据库   ci   云计算   C/C++  

【译】使用Apache Kafka构建流式数据平台(1) 经验

技术栈中,如何实际应用于项目中。 这篇指南讨论我们关于实时数据流的工程经验:如何在你的公司内部搭建实时数据平台、如何使用这些数据构建应用程序,所有这些都是基于实际经验——我们在Linkdin花了五年时间构建Apache

jopen 2016-01-08   33342   0

GitHub上整理的一些工具 经验

DH5,基于YARN MRv2集成了Spark可直接用于生产环境的Hadoop,对于企业快速构建数据仓库非常有用。 Ceph:Linux分布式文件系统(特点:无中心) Storm:实时流数据处理,可以看下IBM的一篇介绍

jopen 2015-11-18   110476   0
Github  
1 2 3 4 5 6 7 8 9 10