实时大数据分析平台:Ebay Pulsar 经验

Pulsar 是 eBay 开源的实时大数据分析平台。 作为全球性的商务平台和支付行业领先者,拥有海量的用户行为数据。 基于现有的hadoop大数据处理,已经不能够满足业务上对实时性的需求。基于过去的大数据

jopen 2015-03-03   35429   0

Uber是如何扩展他们的实时市场平台的 经验

惊人地增长了38倍 。最近,Uber的首席系统架构师 Matt Ranney 在他的报告“ 扩展Uber的实时市场平台 ”中,对Uber软件系统的工作原理进行了一个有趣而又详细的介绍。本文对Matt的报告内容

jopen 2015-11-01   29668   0

使用php+swoole对client数据实时更新(一) 经验

如果想对一个列表做实时的更新,传统的做法是采用轮询的方式。以web为例,通过Ajax定时请求服务端然后获取数据显示在页面。这种方式实现简单,缺点就是浪费资源。HTTP1.1新增加了对websocket

jopen 2016-01-07   20075   0

使用Fluentd + MongoDB构建实时日志收集系统 经验

本文要介绍的是在Fluentd的最新版中已经内置的MongoDB支持。 Fluentd是一个日志收集系统,它的特点在于其各部分均是可定制化的,你可以通过简单的配置,将日志收集到不同的地方。

jopen 2015-11-15   16238   0

使用Apache Spark构建实时分析Dashboard 经验

streaming,Kafka,Node.js,Socket.IO和Highcharts构建实时分析Dashboard。 问题描述 电子商务门户希望构建一个实时分析仪表盘,对每分钟发货的订单数量做到可视化,从而优化物流的效率。

我逍遥 2016-11-28   18418   0

微店实时计算平台实践 经验

引言 随着微店业务的蓬勃发展,目前很多核心系统都需要使用实时数据,归纳了下微店的实时业务形态,大致分为如下几方面: 1.        实时在线系统,比如搜索、推荐和广告 2.        监控预警,比如用户行为预警、app

vbur3840 2017-01-12   26231   0

海量数据实时计算利器Tec 资讯

在刚刚过去的2015年双11大促中,搜索事业部的实时计算和在线学习系统Pora经受住了前所未有的双11巨量用户行为消息的冲击,在流入实时消息量持续超过300w/s,甚至峰值飙升至501w/s的压力下始终保持了端到端秒级实时效果,助力相关的搜索和推荐实时业务取得了很好的效果。

jopen 2016-01-17   24007   1

英特尔开源了Arduino 101实时操作系统 资讯

Arduino 宣称 英特尔为黑客技术和学习的目的发布了Arduino 101实时操作系统(RTOS)。 它的源码可以从英特尔网页上 下载 ,并且它为在101中使用的 Curie芯片系统模块 提供

jopen 2016-05-17   17796   0
P21

  ISearch5 实现原理之实时搜索 文档

1. ISearch5实现原理之实时搜索引擎平台北京团队 万喜 2. 纲要应用场景 实时引擎 消息系统 3. 应用场景—主搜需求需要解决的问题 性能优化 更快的从异常中恢复 更好的扩展性 4. 应用场景—主搜swiftdumphdfsdp

defeqw 2015-11-30   574   0
搜索引擎   Swift   Go  
P6

  Twitter利用Storm系统处理实时大数据 文档

Twitter利用Storm系统处理实时大数据 Hadoop(大数据分析领域无可争辩的王者)专注于批处理。这种模型对许多情形(比如为网页建立索引)已经足够,但还存在其他一些使用模型,它们需要来自高度动态的来源的实时信息。为了解决这个问题,就得借助

pwgw 2016-02-04   404   0

实时在线文档协作工具 Etherpad 经验

Etherpad是一个开源应用程序,可以让任意数据的用户实时共同协作编程同一份文档 ,它拥有以下功能特性 : 能自动把不同人写的东西用不同颜色标出来 可以无限撤销 嵌入其他网站很方便,把EtherPad嵌入其他网页只需要一行代码

jopen 2011-12-25   58733   0

让网站拥有实时协作功能:TogetherJS 经验

站添加实时协作功能,并且内置许多功能,如视频、语音聊天、内容实时同步、获取用户实时焦点等。 为什么要使用TogetherJS? 共同创建:TogetherJS可以让用户在网站上实现实时协作;

jopen 2013-09-23   12127   0

使用 Meteor 和 Node.js 构建实时应用 经验

的激动人心的讨论涌现在了我的Twitter Timeline. 我从未体验过一个框架能够帮你做这么多--实时同步客户端和服务端. 从本质上讲, 这使得我们可以自己编写一个代码量很少的应用可以让两个人编写同一个

jopen 2013-05-19   50732   0

实时音视频处理库 librem 经验

librem是一个开源的跨平台的实时音视频处理库。 特点: Audio buffering, mixing, codecs and resampling Video mixing, rescaling

openkk 2012-08-13   26064   0
P11

  Worktile中的实时消息推送服务实现 文档

Worktile中的实时消息推送服务实现 在Worktile的使用过程中,你会发现无论是右上角的消息通知,还是在任务面板中拖动任务,还有用户的在线状态,都是实时刷新。Worktile中的推送服务是采

ddxkj 2015-04-18   650   0

rsync+inotify实现在Linux上文件实时同步 经验

115 做为源服务器, 114 做为目标服务器 主要是把 115 上 /home/md 中的所有数据实时同步到 114 上的 /home/md 中 1, 先关闭防火墙 vi /etc/selinux/config

jopen 2014-09-20   50865   0
rsync   Linux  

实时监控Android设备网络封包 经验

对Android网络抓包分析,一般是使用tcpdump抓个文件,再到PC用Wireshark打开分析。能不能达到直接使用Wireshark的效 果? 答案是可以的,至少已经非常接近了。实现起来很简单,原理就是将tcpdump的数据重定向到网络端口,再通过管道(pipe)转到wireshark就 可以了。

jopen 2014-12-28   33964   0

处理实时数据流的Python库:Streamparse 经验

Streamparse可以让你运行Python代码来处理实时数据流,它还让Python与Apache Storm整合到一起。 你可以把sreamparse视为比Python worker-and-

jopen 2014-06-29   57839   0

基于WebSocket构建移动端实时应用 经验

器给你返回响应信息,然后连接就被断掉了。然而现实生活中,很多应用实际上是需要一种实时机制的支持,比如微信,你就需要实时收到对方发送的回复信息。对于应用处于后台的情况下,你可以使用系统级别的推送服务,比

jopen 2014-03-24   27790   0

快速可靠的Web实时引擎:Socket.IO 经验

Socket.IO 是目前 Web 领域最火的实时引擎,用于实现基于事件的双向实时的通信。它适用于任何平台,浏览器或设备,专注于可靠性和速度。您可以将数据推送到客户端,并获得实时的计数,日志或图表。 能够发送任何

jopen 2014-06-15   14476   0
1 2 3 4 5 6 7 8 9 10