Twitter的大数据实时分析系统:Heron 经验

Twitter发布了新开发的数据实时分析平台Heron,以下为官方文档摘译: 我们每天在Twitter上处理着数十亿的事件。正如你猜测的那样,实时分析这些事件是一个巨大的挑战。目前,我们主要的分析平台是 开源 的分布式流计算系统

jopen 2015-06-03   24731   0

Python 数据分析框架:Ibis 经验

Ibis 是一个新的 Python 数据分析框架,目标是让数据科学家和数据工程师们处理大型数据时,能够像处理小中型数据一样的高效。为了实现这个目标,我们将启用 Python 来作为 Apache Hadoop

jopen 2015-07-21   24991   0

PHP 静态分析器:phan 经验

phan 是 PHP 的静态分析器。它需要加载 PHP-AST 扩展的 PHP7 。当然,你可以用于分析任何版本的PHP写的代码。不过,phan 不适合生产使用。 特性: 检查未声明的函数、方法、闭包和类的调用与实例。

jopen 2015-08-02   10224   0
phan   PHP开发  

LinkedIn 开源 OLAP 存储和分析系统:Pinot 经验

OLAP 数据存储和分析系统。LinkedIn 使用它实现低延迟可伸缩的实时分析。Pinot 从离线数据源(包括 Hadoop 和各类文件)和在线数据源(如 Kafka)中攫取数据进行分析。Pinot 被设计是可以进行水平扩展的。

jopen 2015-06-11   19093   0

Linux 系统性能分析工具图解读 经验

的进程在等待,像一些数据库服务,所以看完负载后还要针对应用场景综合考量。 top & htop top 其实是一个相当全面的分析了还是事实的,其他很多命令能拿到的数据,top 一个命令就可以拿到。但是他的一个问题就是本身的 overhead

jopen 2015-06-17   45014   0
Linux  

使用性能API快速分析web前端性能 经验

准,各种浏览器对这 套标准的支持如今也逐渐成熟起来。这套API的目的是简化开发者对网站性能进行精确分析与控制的过程,方便开发者采取手段提高web性能。 整套标准包含了10余种API,各自针对性能检

jopen 2015-11-21   47123   0
API  

【Python】图像主色的 K-Means 分析 经验

行的代码目的是:在保持图像比例不变的前提下,改变图像的尺寸。 步骤一:利用 K-Means 对颜色聚类分析 给定之前的两个假设条件,我们打算利用聚类来解决问题。我们拥有一大堆点的数据,我们需要根据它们

www345 2015-11-16   29881   0

使用Benchmark.js和jsPerf分析代码性能 经验

前端开发中,掌握好浏览器的特性进行有针对性的性能调优是一项基本工作,同时,比较不同代码的执行速度也是一项关键的工作。 比如,当我们想比较RegExp的test方法和String对象的indexOf方法查找字符串谁的速度更快的话,js代码在不同的浏览器,不同的操作系统环境运行的效率可能是不一样的,这就是为什么我们需要对其进行基准测试,在做基准测试方面,我们可以使用Benchmark.js和使用jsPerf(一个基于JSLitmus的基准测试库)。我们可以使用jsPerf来分享你的基准测试。

jopen 2015-08-25   14834   0

中小型网站架构分析及优化 经验

先看网站架构图: 以上网站架构广泛运用中大型网站中,本文从架构每一层分析所用主流技术和解决手段,有助于初入网站运维朋友们,进一步对网站架构认识,从而自己形成一套架构概念。 第一层:CDN

jopen 2015-11-25   16229   0

K-均值聚类分析 经验

现压缩存储,而且Fptree还需要其他的开销,需要存储空间更大,使用FpGrowth算法前,对数据分析一下,看是否适合用FpGrowth算法。 下一篇将介绍,关联规则的评价标准,欢迎持续关注。

jopen 2015-08-30   22277   0

Spark Streaming 1.6 流式状态管理分析 经验

当前record 的状态。这个copy是非常快的。我们会在 mapWithSate额外内容 那个章节有更详细的分析。 val newStateMap = prevRecord.map { _.stateMap.copy()

网页图片优化和性能分析 经验

来自: http://chinagdg.org/2016/02/网页图片优化和性能分析/ 图片优化 理想的网页应该在1秒内打开。而在页面的整体大小中,图片往往是所占比例最大的一部分。优化图片不

BerChilders 2016-02-17   17659   0

android事件传递机制测试分析 经验

假设一、viewGroup的onInterceptTouchEvent返回false(即父布局不拦截事件) 1、如果一个View不消费ACTION_DOWN事件,那么该View最多只会接收到ACTION_DOWN事件 2、如果一个View消费了ACTION_DOWN事件,该view将处理所有事件

松林小鼠 2016-02-27   7664   0

如何进行 Python性能分析,你才能如鱼得水? 经验

这样的代码,虽然你很快就忘记它们了,它们却可能反咬你一口,给你带来麻烦:本文就是为这种情况而准备的。 本文会介绍用于快速分析Python程序的一些有用工具和模式。主要目标很简单: 尽快发现问题,修复问题,并确认修复是行之有效的

a316615091 2016-05-16   26641   0

基于ELK的简单数据分析 经验

1.4 介绍 ElasticSearch是有名的开源搜索引擎,现在很多公司使用ELK技术栈做日志分析,比如新浪使用ELK处理每天32亿条记录,详细的介绍可以查看 这里 我们的数据量没有新浪那么大,一天正常水平在

neoly 2016-02-16   65440   0

使用 Gradle 插件进行代码分析 经验

com/article/analysis-code-with-gradle.html 代码分析在大多数项目中通常是作为最后一个步骤(如果做了的话)完成的。其通常难以配置及与现有代码整合。 本文旨在勾勒出使用

SherlynLund 2016-02-27   17897   0

Android 切换系统语言源码分析 经验

能够让所有app使用新的语言。 上面这些就是对Android 系统里面的语言切换进行了源码分析,就先分析到这里;有些东西我也不是很看懂,能力有限~ 明天我们再来分析怎么来实现Android 系统语言切换的功能。 Android 切换系统语言功能实现

ChastityRyd 2016-03-04   25854   0

Battery Historian:Google 的电池使用分析工具 经验

Battery Historian is a tool to inspect battery related information and events on an Android device (Android 5.0 Lollipop and later: API Level 21+) while the device was on battery. It allows application developers to visualize system and application level events on a timeline and easily see various aggregated statistics since the device was last fully charged.

wqawowerffh 2016-03-02   57648   0

使用 wireshark 分析 redis 协议 经验

同理). Redis使用 TCP 作为其数据传输协议,而分析 TCP 包就不得不祭出 wireshark 这个神器了。 虽然wireshark 可以分析 TCP 包, 但是直接看 TCP 包不是那么直观的看出与

HilTZDK 2016-01-24   17089   0

[置顶] 深入分析Java ClassLoader原理 经验

b/ext),然后重新运行这个程序,得到的结果会是什么样呢? 打印结果: 打印结果分析: 为什么第一行的结果是ExtClassLoader呢? 因为ClassLoader的委托

JulKTU 2016-02-03   18337   0
1 2 3 4 5 6 7 8 9 10