使用Python Pandas处理亿级数据 经验

数据分析领域,最热门的莫过于Python和R语言,此前有一篇文章《 别老扯什么Hadoop了,你的数据根本不够大 》指出:只有在超过5TB数据量的规模下,Hadoop才是一个合理的技术选择。这次拿到

jopen 2016-01-16   13234   0

数据挖掘的学习资源 经验

com/liangliangh/p/4928267.html 数据挖掘(Data Mining)作为一个领域,比机器学习要大,偏应用。互联网公司也大量使用数据挖掘技术,作为即将毕业进入互联网公司从事机器学习算法

jopen 2015-11-02   42372   0

ExtJS远程数据-本地分页 经验

一般情况下,分页展示是前端只负责展示,后台通过SQL语句实现分页查询。当总数据量在千条以下,适合一次性查询出符合条件的所有数据,让前端页面负责分页也是一种选择。 实例 现通过ExtJS 4扩展类库

jopen 2016-01-06   15734   0

Mongodb 数据类型及Mongoose常用CURD 经验

看完了Node.js实战,其中在数据存储部分提到了Redis、Mongodb,我自己也根据书中的介绍写了几个简单的demo,在demo的过程首先遇到的问题就是数据类型和常见的CURD写法。 mong

jopen 2016-01-03   9673   0

ZFExcelChart - 简单的数据展示图表 经验

ZFExcelChart 简单的数据展示图表,类似Excel那样分类分级统计数据,并可上下左右滑动查看数据 效果演示: 期待 如果在使用过程中遇到BUG,或发现功能不够用,希望你能Issues我

jopen 2016-01-07   56909   0

把 ElasticSearch 当成是 NoSQL 数据 经验

tails/50495161 Elasticsearch 可以被当成一个 "NoSQL"-数据库来使用么? NoSQL 意味着在不同的环境下存在不同的东西, 而erestingly 它并不是真的跟

xiaobao623 2016-02-11   15051   0

【13】把 Elasticsearch 当数据库使:Join 经验

可以用 SQL 进行 elasticsearch 的查询。要真正把Elasticsearch当作数据库来使,Join是一个绕不过的话题。关于Elasticsearch如何支持join,这个slide总结得很好:

FraBettenco 2016-02-22   65348   0

数据工程师,常用Shell命令 经验

命令是数据极客的必修兵器。探索性数据分析,在需求和数据都不太明确的环境下,使用各种命令进行一次探索与挖掘。从基础的文件查看到简单的统计,再到一些常用的探索性分析命令,其目的都只是为了更好的做数据分析与挖掘而已。

hmld6595 2016-03-21   29118   0

CitusDB —— 基于 PostgreSQL 的集群数据 经验

PostgreSQL 构建的分布式数据库。CitusDB 可对 PostgreSQL 数据库进行伸缩以适合大数据的处理。可在集群中进行自动分片和碎片复制,运行在云端或者混合系统中。数据库的查询可在集群中进行分布

com.con 2016-06-18   15072   0

SpringBoot-多数据 经验

新项目使用了主从数据库, 从数据库用来查询报表数据, 主数据库用来CRUD业务数据以及定时插入报表数据, 而且项目中同时使用了 Spring Data JPA 和 Mybatis , 配置多个数据源就成了一个很繁琐的问题。

huangxingA211 2016-03-01   18808   0

MongoDB数据文件内部结构 经验

有人在Quora上提问:MongoDB数据文件内部的组织结构是什么样的。随后10gen的工程师Jared Rosoff出来做了简短的回答。 每一个数据库都有自己独立的文件。如果你开启了direct

SadBeer 2016-04-14   9732   0

聊聊数据权限哪些事儿 经验

net/tinyframework/blog/630801 序 一般来说,权限有许多种,我们经常用到的一般有操作权限和数据权限两种。 所谓操作权限就是有或者没有做某种操作的权限,具体表现形式就是你看不到某个菜单或按钮

juev1658 2016-03-04   11921   0

数据结构:图的表示 经验

任何一本讲到图算法的算法书,都会讲到图的表示方法有两种:

liuzhaoq18 2016-11-30   8671   0

数据-推荐引擎 经验

几张推荐方式。首先说明下大数据用户画像可以用于针对性营销和单品推荐,但是即使没做用户画像也可以进行商品推荐。 推荐引擎的分类 推荐引擎是不是为不同的用户推荐不同的数据根据这个指标,推荐引擎可以

漫画:什么是大数据 经验

数据是具有海量、高增长率和多样化的信息资产,它需要全新的处理模式来增强决策力、洞察发现力和流程优化能力。 Big data is high volume, high velocity, and/or

ShePedigo 2016-11-06   12509   0

Nodejs 数据加密传输 经验

数据加密传输,这个目前我接触的几个方式,一个是密文传输,一个明文传输 密文传输,就是用密钥对数据加密,使用公钥对数据解密,传输的通道可以是https的也可以是http的。 明文传输,前提是建立

我俩绝配 2016-11-14   7467   0

展示大数据集的 JavaScript 库 - Crossfilter 经验

Crossfilter 是一个用来展示大数据集的 JavaScript 库,支持超快的交互,甚至在上百万或者更多数据下都很快。主要用来构建数据分析程序。 项目主页: http://www

jopen 2012-06-26   24616   0
P35

  NoSQL数据库MongoDB和Redis 文档

 NoSQL数据库 —MongoDB和Redis 目 录 1NoSQL简述 4 2MongoDB简介 4 3术语介绍 5 4MongoDB资源消耗 6 5交互式shell 6 6一般功能 7 6.1插入

youbinliu 2011-04-12   428   0

.NET文档数据库 RavenDB 经验

RavenDB 是个新的.NET开源文档数据库。下面是一个简单的例子 项目主页: http://www.open-open.com/lib/view/home/1322721919702

openkk 2011-12-01   25791   0

Key-Value数据引擎 quickdb 经验

quickdb 是一款基于内存文件系统的 HashTable数据结构的Key-Value数据引擎,什么是内存文件系统了?就是操作系统把系统内存划出一部分当作硬盘使用。你可以像操作磁盘那样的操作内存。但

fmms 2012-01-13   13470   0
1 2 3 4 5 6 7 8 9 10