实时大数据分析平台:Ebay Pulsar 经验

eBay 开源的实时大数据分析平台。 作为全球性的商务平台和支付行业领先者,拥有海量的用户行为数据。 基于现有的hadoop大数据处理,已经不能够满足业务上对实时性的需求。基于过去的大数据处理的经验和对最

jopen 2015-03-03   35429   0

轻松管理Docker容器和它们的数据:flocker 经验

Flocker是一个数据卷管理器和多主机Docker集群管理工具。有了它,你可以控制你的数据使用与无状态应用程序相同的工具,通过利用在Linux上ZFS的强大功能。这意味着您可以在Docker中运行数据库,队列和键

jopen 2014-11-04   35539   0
Flocker  

Hive:基于hadoop的数据仓库工具 经验

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为 MapReduce任务进行运行。其优点是学习成本低,可以通过

jopen 2014-12-03   24098   0

内存数据库中的索引技术 经验

引言 传统的数据库管理系统把所有数据都放在磁盘上进行管理,所以称作磁盘数据库(DRDB: Disk-Resident Database)。磁盘数据库需要频繁地访问磁盘来进行数据的操作,磁盘的读写速度远远小于CPU处理数据的速度,所以磁

jopen 2015-01-10   35045   0

数据中心丢包分析及解决方案 经验

上周对数据中心tcp数据传输的超时重传时间进行了探究,是的,我们可以缩短重传超时时间,但为什么在数据中心内部也会出现丢包呢?下面会对这个问题进行探讨。 下面几种丢包情形是大家所熟悉的: 1、数据中心内网的某个端口的带宽跑满

jopen 2015-03-31   22090   0
数据  

MySQL 数据库存储引擎 经验

简单介绍 存储引擎就是指表的类型。数据库的存储引擎决定了表在计算机中的存储方式。存储引擎的概念是MySQl的特点,而且是一个插入式的存储引擎概念。这就决定了MySQl数据库中的表可以使用不同的存储方式存

jopen 2015-11-12   16913   0

PHP:MySQL数据库访问(mysqli & PDO) 经验

一. 使用mysqli访问数据库 1. 连接数据库 $db = new mysqli("localhost", "username", "password", "databaseName"); 或者:

bwnx 2015-12-15   10827   0

sophy - Sophia数据库的快速Python绑定 经验

sophy - Sophia数据库的快速Python绑定。 Sophia Database v2.1. 特性: Append-only MVCC database ACID transactions

jopen 2016-01-03   8893   0

Java 数据模型框架:BabyFish 经验

BabyFish 是专为数据模型类准备的 Java 框架,是增强类型的 JPA/Hibernate。 这是本人7年努力,牺牲所有业余时间得来的一个开发开源项目,具体细节文档有非常清楚的介绍,这里只说重点。

jopen 2015-10-26   11607   0

不同环境之间的快速,安全地同步数据:pgsync 经验

pgsync 不同环境之间的快速,安全地同步数据 Installation gem install pgsync And in your project directory, run: pgsync

jopen 2015-12-14   7195   0

彻底理解数据库事务 经验

。在计算机术语中是指访问并可能更新数据库中各种数据项的一个程序执行单元(unit)。在计算机术语中,事务通常就是指数据库事务。 概念 一个数据库事务通常包含对数据库进行读或写的一个操作序列。它的存在包含有以下两个目的:

jopen 2015-12-30   5885   0

XTemplate - 网页数据绑定组件 经验

XTemplate是一个javascript组件,主要是用于完成html页面上数据的绑定。常用的方式是用ajax从远程读取数据,XTemplate会将这些数据按规则绑定到页面的dom上去。它支持两种绊绑定方式,绑定数组

jopen 2016-01-03   24805   0

利用Python进行Elasticsearch数据索引 经验

启动Elasticsearch,访问端口在9200,通过浏览器可以查看到返回的JSON数据,Elasticsearch提交和返回的数据格式都是JSON. >> bin/elasticsearch -f 安装官方提供的Python

jopen 2015-12-24   53015   0

使用php+swoole对client数据实时更新(一) 经验

如果想对一个列表做实时的更新,传统的做法是采用轮询的方式。以web为例,通过Ajax定时请求服务端然后获取数据显示在页面。这种方式实现简单,缺点就是浪费资源。HTTP1.1新增加了对websocket的支持,

jopen 2016-01-07   20075   0

Python数据清洗实用小工具 经验

四、从储备库中抽取指定文件。 具体描述是比如从N个网站中抓取药品说明书数据,每个说明书单独保存一个txt文件,每个网站抓取的数据单独保存在一个文件夹下,文件名为说明书的批准文号(类似于唯一标示符),现

jopen 2016-01-12   35182   0

Node.js ORM 数据操作中间件 Waterline 经验

html 这两天在看 Sails.js 的时候,偶然看到了它使用的是 Waterline 来实现数据库的操作,发现它和 Sails.js 为同一团队所开发。翻了一下文档,感觉在中小型项目中使用,的确可以提升开发效率。

jopen 2015-10-28   16089   0

60款顶级大数据开源工具 经验

说到处理大数据的工具,普通的开源解决方案(尤其是Apache Hadoop)堪称中流砥柱。弗雷斯特调研公司的分析师Mike Gualtieri最近预测,在接下来几年,“100%的大公司”会采用Hadoop。Market

jopen 2015-11-14   179651   0

Web 应用通用数据访问层:Fetchr 经验

Fetchr 是用于 web 应用程序的通用数据访问层。 通常情况下,你调用 API 和数据库直接获取数据。但在客户端上,你有时候无法以同样的方式调用服务(例如,跨域策略),XHR 请求需要发送到

jopen 2015-12-01   7798   0

开源大数据处理工具汇总(上) 经验

本文一共分为上下两部分。我们将针对大数据开源工具不同的用处来进行分类,并且附上了官网和部分下载链接,希望能给做大数据的朋友做个参考。下面是第一部分。 查询引擎 一、Phoenix 贡献者:: Salesforce

jopen 2016-01-05   78569   0

MySQL 数据库双向同步复制 经验

要点与制约。 问题和制约 数据库的双主双写并双向同步场景,主要考虑数据完整性、一致性和避免冲突。对于同一个库,同一张表,同一个记录中的同一字段的两地变更,会引发数据一致性判断冲突,尽可能通过业务场

jopen 2016-01-08   10619   0
1 2 3 4 5 6 7 8 9 10