spark读取hbase数据做分布式计算 经验

由于spark提供的hbaseTest是scala版本,并没有提供java版。我将scala版本改为java版本,并根据数据做了些计算操作。 程序目的:查询出hbase满足条件的用户,统计各个等级个数。 代码如下,注释已经写详细:

jopen 2014-01-27   69731   0

在 Swift 语言中更好的处理 JSON 数据:SwiftyJSON 经验

SwiftyJSON能够让在Swift语言中更加简便处理JSON数据。 With SwiftyJSON all you have to do is: let json = JSONValue(dataFromNetworking)

jopen 2014-07-04   55463   0

IOS中NSUserDefaults的用法(轻量级本地数据存储) 经验

NSUserDefaults适合 存储轻量级的本地数据 ,比如要保存一个登陆界面的数据,用户名、密码之类的,个人觉得使用NSUserDefaults是首选。下次再登陆的时候就可以直接从NSUserDefaults里面读取上次登陆的信息咯。

jopen 2014-01-25   13393   0

PHP连接mysql数据库导出csv文件 经验

在实际开发中需要经常将数据库中的数据以csv文件的方式导出,这里使用PHP连接mysql,实现CSV格式文件数据的导出功能 我的数据库设计为以下这样: 我的程序代码为:

efbb 2015-05-07   22998   0
PHP   PHP开发  

Twitter的大数据实时分析系统:Heron 经验

Twitter发布了新开发的数据实时分析平台Heron,以下为官方文档摘译: 我们每天在Twitter上处理着数十亿的事件。正如你猜测的那样,实时分析这些事件是一个巨大的挑战。目前,我们主要的分析平台是

jopen 2015-06-03   24731   0

Aerospike NoSQL 数据库架构 经验

是一个开源的分布式键-值NoSQL数据库。它支持灵活的数据模式,并且支持满足ACID特性的事务。其 架构 包括如下三层: 客户端层: 这一层包括带有Aerospike API的开源客户端库和能够感知数据在Aerospike集群中位置的追踪节点。

jopen 2015-06-16   21950   0

Python 数据分析框架:Ibis 经验

Python 数据分析框架,目标是让数据科学家和数据工程师们处理大型数据时,能够像处理小中型数据一样的高效。为了实现这个目标,我们将启用 Python 来作为 Apache Hadoop 的第一级别语

jopen 2015-07-21   24991   0

GraphX 图数据建模和存储 经验

net/pelick/article/details/47293495 背景 简单分析一下GraphX是怎么为图数据建模和存储的。 入口 可以看 GraphLoader 的函数, def edgeListFile(

jopen 2015-08-05   22695   0

数据库大型应用解决方案总结 经验

com/88336/ 随着互联网应用的广泛普及,海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用,每天百万级甚至上亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。

jopen 2015-07-20   10525   0

Netflix内存数据传输框架:Zeno 经验

Zeno 是 Netflix 的内存数据传输框架。一些应用数据集有极低的延迟容忍度,对于 Netflix 来说,这个适合电影和电视节目的元数据,直接在 RAM 存储数据。 Netflix 使用 Zeno

juio 2015-05-21   17448   0

手机数据抓包以及wireshark技巧 经验

本文主要讨论一种非常方便的抓取Android和iphone手机网络数据包的办法,以及介绍wireshark最常用的技巧 抓包工具介绍 (1).网页抓包工具 Chrome浏览器插件 FireBug

yg3n 2015-06-04   29316   0

Sql Server基础:数据类型详解 经验

原文出处: 阿赫瓦里 数据类型是一种属性,用于指定对象可保存的数据的类型,SQL Server中支持多种数据类型,包括字符类型、数值类型以及日期类型等。数据类型相当于一个容器,容器的大小决定了

ygw3 2015-05-08   19451   0

iOS中几种数据持久化方案 经验

伯恩的遗产的简书 概论 所谓的持久化,就是将数据保存到硬盘中,使得在应用程序或机器重启后可以继续访问之前保存的数据。在iOS开发中,有很多数据持久化的方案,接下来我将尝试着介绍一下5种方案:

jopen 2015-07-22   11089   0

MySQL删除表数据:DELETE 与 TRUNCATE 的区别 经验

在MySQL中有两种方法可以删除数据,一种是DELETE语句,另一种是TRUNCATE TABLE语句。DELETE语句可以通过WHERE对要删除的记录进行选择。而使用TRUNCATE TABLE将删

bgn4 2015-05-06   11725   0

JSon 数据生成器:dream.js 经验

dream.js 是一个轻量级的 JSon 数据生成器。可以从 JSon Schema 输出使用标准类型的数据,例如 String, Number, Date, Boolean, Array, 或者是超过60个的内置自定义类型,例如

jopen 2015-12-06   12832   0

HBase基本数据操作详解 经验

念,可以指定表空间创建表,也可以直接创建表,进入default表空间。 对于数据操作,HBase支持四类主要的数据操作,分别是: Put :增加一行,修改一行; Delete :删除一行,

jopen 2016-01-03   11576   0

数据机器学习工具:Apache MADlib 经验

Apache MADlib 是为数据科学提供的 SQL 大数据机器学习工具。Apache MADlib 拥有强大的大数据分析能力。Apache MADlib 支持 Postgres, Pivotal Greenplum

jopen 2015-11-03   26628   0

mysql的数据储存过程入门小结 经验

Mysql 是网站里最常用的数据库( LNMP 组合)。这里总结下 Mysql 命令行的使用同时简单介绍下 mysql 储存过程做个入门介绍。 1.Linux 登录 mysql 的语法格式 mys

jopen 2015-12-31   8133   0

MySQL数据库命名及设计规范 经验

据的标准化有助于消除数据库中的数据冗余。标准化有好几种形式,但Third Normal Form(3NF)通常被认为在性能、扩展性和数据完整性方面达到了最好平衡。简单来说,遵守3NF 标准的数据库的表设计原则是:“One

jopen 2015-08-24   12422   0

秒杀应用的MySQL数据库优化 经验

罄。 秒杀的实现 对 于关注数据库的Inside君来说,更关心的是如何高效的实现秒杀应用。之前淘宝在2013年的数据库大会上分享过他们的秒杀方案,修改MySQL数据库 源码来实现高效的秒杀应用。但

jopen 2015-09-28   14498   0
1 2 3 4 5 6 7 8 9 10