Ebay开源 Pulsar：实时大数据分析平台

最新推荐文章于 2023-11-10 18:04:37 发布
VIP文章 最新推荐文章于 2023-11-10 18:04:37 发布
阅读量6.8k 收藏 3
点赞数 1
分类专栏： 平台 文章标签： 开源 大数据 实时数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ebay/article/details/44017183
版权

作者：汪兴朗 汪明明 王巧玲

 

eBay作为全球性的商务平台和支付行业领先者,拥有海量的用户行为数据。基于现有的hadoop大数据处理，已经不能够满足业务上对实时性的需求。基于eBay过去的大数据处理的经验和对最新技术的运用，eBay探索出一个对海量的数据流进行实时的收集，处理，分发和分析的平台。并于2015年2月底开源此平台: Pulsar.

 

Pulsar作为一个复杂事件处理平台，具有快速，准确，灵活的特性，保证点到点的低延时和高可靠，从而很好得满足了的eBay秒级实时数据分析的需求。同时每秒百万级流量处理能力，给客户带来更好的个性化体验，帮助客户监控实时业务信息并定制实时营销策路，及时监测网络欺诈行为并减少机器人干预。并且Pulsar是基于标准的分布式云架构部署并跨越多个数据中心，从而保证了在系
最低0.47元/天 解锁文章
ebay
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
开源自定义数据中台AllData第一章
AllDataDC的博客
11-27 1万+
About 🔥🔥 AllData科学护城河：一种在数据驱动的科学和研究领域中，保护和维护数据的竞争优势和独特性的解决方案。AllData通过汇聚大数据与AI领域生态组件,提供自定义化数据中台。包括大数据生态方案,人工智能生态方案,大数据组件运维方案,大数据开发治理方案,机器学习方案,大数据SQL开发ChatGPT方案,数据集成方案,湖仓分析方案。通过社区文档了解更多内容：https://docs.qq.com/doc/DVHlkSEtvVXVCdEFo
CTO问我Pulsar到底能不能取代Kafka？
weixin_45963535的博客
11-03 2280
Pulsar是一款分布式发布/订阅消息平台，近两年非常火，被称为下一代的消息流平台，大有取代Kafka的势头。今天我们就来比较一下Pulsar跟Kafka。 历史背景 Pulsar源自Yahoo，于2016年开源并捐献给Apache基金会，并在2018年9月升级成为Apache顶级项目。 Kafka最初由Linkedin开发，并于2010年贡献给了Apache基金会，之后成为Apache顶级项目。 架构 Kafka Kafka架构由broker和zookeeper组成，如下图： [1]
Ebay开源基于大数据的可视化框架：PulsarReporting
02-24
ebay又新添了一个开源项目PulsarReporting–基于大数据的可视化框架Pulsar作为一个实时和近实时大数据分析处理系统，包含了PulsarPipeline和PulsarReporting.在今年三月,eBayPulsar团队开源了实时大数据分析平台–PulsarPipeline，作为一个实时大数据分析平台，PulsarPipeline可以对海量数据进行实时收集，处理和分析，从而使eBay海量的数据实时分析成为可能；然而Pulsar又面临一个新的挑战，就是大数据的实时可视化。用户的需求就是Pulsar团队的动力，经过半年多的努力，eBayPulsar团队研发了一个新的基于大数据的可
从0到1介绍一下开源大数据服务平台dataService
诸葛子房的博客
01-29 4860
在大数据领域也已经工作了多年，无论所待过的大公司还是小公司，统计出来的数据经常需要查询展示，比如说：用做大屏或者报表或者给一些线上服务提供数据源，经常会要用代码写一套接口服务，需要进行开发-测试-上线等一套流程，开发效率非常低下，导致开发一个服务需要接近0.5天或者1天的时间。(2)为了满足不同的数据量要求，选择不同的数据存储，因此导致数据存储多样性(比如：Mysql、Oracle、Hbase、Doris等等)，所以针对不同的存储开发代码不一致。(3)接口服务不规范，不同的开发人员，对于接口开发不一致。
开源组件大数据平台设计
抓饭不吃皮牙子
02-23 466
该大数据平台使用了多个开源组件，包括Flink、Kafka、Cassandra、Spark、Hadoop HDFS、Hive、MySQL、PostgreSQL、Superset和Metabase等，可以满足实时计算、离线计算和数据模型设计等功能需求。
【云栖2023】王峰：开源大数据平台3.0技术解读
最新发布
科技很有意思
11-10 1659
演讲嘉宾：王峰 | 阿里云研究员，阿里云计算平台事业部开源大数据平台负责人。演讲主题：开源大数据平台3.0技术解读
Pulsar 和 Kafka 架构对比
qianshanding0708的博客
10-03 1842
更多内容关注微信公众号：fullstack888相比于 Kafka 等数据处理中间件，分布式消息平台 Apache Pulsar 如何存储数据？本文基于架构，对比了 Apache Kafka 等传统数据处理中间件和分布式消息平台 Apache Pulsar 的优劣势，供大家参考。存储可扩展Apache Pulsar 的多层架构将消息服务层与存储层完全解耦，从而使各层可以独立扩展。传统的分布式数据处...
实时大数据分析平台EbayPulsar.zip
07-19
Pulsar 是 eBay 开源的实时大数据分析平台。作为全球性的商务平台和支付行业领先者，拥有海量的用户行为数据。基于现有的hadoop大数据处理，已经不能够满足业务上对实时性的需求。基于过去的大数据处理的经验和对...
PULSAR:分布式发布订阅消息系统-开源
07-07
Apache Pulsar 是一个原生云、分布式消息传递和流媒体平台，最初由 Yahoo! 创建。 现在是顶级 Apache 软件基金会项目。 易于部署，轻量级计算流程，开发者友好的 API，无需运行自己的流处理引擎。 在 Yahoo! 的生产...
Pulsar:开源 VFX 管道工具
08-03
脉冲星管道前端前端代码可以在以下文件夹中找到： main/ : 创建窗口的代码renderer/ : UI 的代码在项目文件夹Pulsar/运行开始开发： # install dependencies$ yarn install# start dev server$ yarn dev引擎插件引擎...
国产自研开源大数据管理平台DataSophon
白杨Shayne的博客
07-02 2275
上面是贴的官方的介绍文案，从支持的组件来看，的确非常全面，可以说部署大数据集群，只要这一个平台就够了。同类型的平台，CDH被Ambari收购了，HDP不给下载了，要想使用CDH或者HDP只能去下载之前别人保存的安装包，Ambari公司把CDH跟HDP合并一下，又搞出一个收费版本CDP来，DataSophon出来的可以说是正当其时。官网：https://datasophon.github.io/datasophon-website/
阿里云EMR 2.0：重新定义新一代开源大数据平台
weixin_45906054的博客
02-08 641
摘要：本文整理自阿里云高级产品专家何源(荆杭)在 阿里云EMR2.0线上发布会 的分享。本篇内容主要分为三个部分：1. 开源大数据的痛点及EMR产品历程2. EMR2.0 新特征3. 总结1►开源大数据的痛点及EMR产品历程1. 开源大数据的痛点 如何提升性能，降低资源成本全面的性能优化需要大量的研发投入且门槛较高；大数据资源使用量大，广大用户都在不断探索降本方案。如何降低运维成本...
10 分钟了解 Pulsar：针对 Kafka 用户的指南
Apache Pulsar
12-01 629
本文翻译自 StreamNative 博客《Understanding Pulsar in 10 Minutes: A Guide for Kafka Users》，作者 Elliot West，StreamNative 软件工程师。本文由 StreamNative 组织翻译。译者简介王中兴，社区昵称 AlphaWang，就职于 eBay 消息中间件。本文将结合你现有的 Apache Kafka ...
开源大数据平台 E-MapReduce Serverless StarRocks 产品介绍
阿里云云栖号
06-05 653
本文将分享阿里云与 StarRocks 社区合作打造的云上 StarRocks 极速湖仓的云原生产品实践。
实用的大数据可视化工具集推荐
bqhfew5051的博客
08-02 152
推荐一些简单的，日常工作能实际应用，或者个人学习数据分析、可视化有必要的工具。希望大家能真的用起来！纯可视化图表生成类——适合开发，工程师Echart一个纯Javascript的数据可视化库，百度的产品，常应用于软件产品开发或网页的统计图表模块。可在Web端高度定制可视化图表，图表种类多，动态可视化效，各类图表各类形式都完全开源免费。能处理大数据量和3D绘图也不逊色，据说结合...
Hadoop和大数据：60款顶级开源工具
Make progress step by step everyday.....
08-10 1957
2015-08-10 CSDN大数据 说到处理大数据的工具，普通的开源解决方案（尤其是Apache Hadoop）堪称中流砥柱。弗雷斯特调研公司的分析师Mike Gualtieri最近预测，在接下来几年，“100%的大公司”会采用Hadoop。Market Research的一份报告预测，到2011年，Hadoop市场会以58%的年复合增长率（CAGR）高速增长；到2020年，市场产值会
使用Apache Kylin搭建企业级开源大数据分析平台
05-27
1024大数据技术峰会邀请到11位来自一线互联网企业的大数据核心研发团队骨干成员，针对选型开源技术搭建大数据平台、持续运维、优化提升大数据平台的各项性能，技术架构演进以及实现应用大数据支持业务创新发展，这几大核心展开深入的分享和交流。
12款开源数据资产(元数据)管理平台选型分析（一）
热门推荐
zdsx1104的专栏
02-06 1万+
数据治理、数据资产管理等工作，是企业数字化转型中的底层基建，很重要，却又很难体现出效果和价值。上层数据战略、数据架构、数据流程、数据规范等问题，在组织层面没有解决；不论数据资产平台等工作规划和实现得如何好，都只能体现出杯水车薪的效果。
开源消息队列新秀：Pulsar！
程序猿DD
06-07 902
Pulsar是一个集消息传递、消息存储、轻量化函数式计算于一体的云原生流数据平台。Pulsar提供数据存储与消费能力，凭借优秀的架构设计、强大的可扩展性，在消息队列、流数据处理等多个领域被广泛使用。Pulsar 的优势开源领域中有诸多优秀开源消息队列，例如 RabbitMQ、Apache RocketMQ、Apache ActiveMQ 和 Apache Kafka。在前人的基础上，Pulsar ...
golang 开发的 开源数据中台
05-29
2. Pulsar：Pulsar是一个开源的分布式数据中台平台，使用Golang和Java开发。它提供了高可用性和高性能的流式数据处理和存储功能，可以帮助企业处理各种数据类型。 3. DolphinScheduler：DolphinScheduler是一个开源...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值