阅读更多
作为世界上使用最广泛的微博客服务,Twitter月活跃用户如今已经达到了2.183亿人,每天大约有5亿条推文被发送,几乎每秒钟就产生了超过6000条推文。

在最初Twitter还没有这么大数据量的时候,该公司主要使用一些主流的技术来处理这些数据,比如开源数据库MySQL和Cassandra等,但随着用户量的飞速扩增,这些技术逐渐显示出了一些瓶颈,已经达不到Twitter实时、低延迟的需求,Twitter工程师也需要花费大量的时间来扩展这些产品。因此,基于目前需求及长远考虑,Twitter开发了自己的分布式数据库系统——Manhattan。

Twitter表示,未来该系统可能会开源,该公司还在在官方博客中介绍了该系统的详细信息。下面就来看看。

Twitter目前对于数据库产品的需求(也是Manhattan的特性):

  • 可靠性
  • 可用性
  • 可扩展性
  • 易操作性
  • 低延迟
  • 细粒度的可缩放性
  • 开发人员的工作效率
Twitter在设计Manhattan时主要遵循的原则:

  • 保持核心轻量和简单
  • 能够更快地带来价值
  • 有限考虑多租户、服务质量(QoS)和自助服务
  • 专注于可预测性
  • 存储作为服务,而不仅仅是技术
下面来看看Manhattan的主要特性。Manhattan共分为如下4层:



  • 核心:这是存储系统最关键的部分,需要高度稳定和强大,用来处理异常、一致性、路由、拓扑管理、数据中心区域内/跨区域复制、冲突解决等。核心中的关键组件完全可插拔。
  • 存储引擎:目前有3个内部存储引擎——seadb、sstable、btree
  • 存储服务:在核心基础上构建了更多传统数据库中包含的一些功能,比如:Hadoop数据批量导入、强一致性服务、时间序列计数器服务
  • 接口:用于实现客户与存储系统的交互


更多信息:Manhattan, our real-time, multi-tenant distributed database for Twitter scale
  • 大小: 10.2 KB
  • 大小: 50.9 KB
5
0
评论 共 2 条 请登录后发表评论
2 楼 sp42 2014-04-08 22:00
开源否?Twitter 出品的关注下
1 楼 zhangbaoqi 2014-04-07 17:02

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • java呼叫中心系统源码-FISH-UCKeFu:基于UCKeFu

    java呼叫中心系统源码 优客服 优客服,是一个多渠道融合的客户支持服务平台,包含WebIM,微信,电话,邮件,短信等接入渠道、智能机器人 ...本项目有四个依赖包,jave 和Mondrian,aliyun-java-sdk-cor

  • 网络编程资源大集合(包含前端、java、linux、安卓、github开源项目、开发工具等)

    安卓各组件介绍一、ListView二、ActionBar三、Menu四、ViewPager 、Gallery五、GridView六、ImageView七、ProgressBar八、其他2.GitHub上优秀Android开源项目3. Android开发神器1.Xabber客户端2.oschina客户端3.手机...

  • 【java毕业设计】基于javaEE+SSM+MySql的BS架构微博系统设计与实现(毕业论文+程序源码)——BS架构微博系统

    大家好,今天给大家介绍基于javaEE+SSM+MySql的BS架构微博系统设计与实现,文章末尾附有本毕业设计的论文和源码下载地址哦。文章目录: 项目难度:中等难度 适用场景:相关题目的毕业设计 配套论文字数:28461个字77...

  • GitHub 优秀的 Android 开源项目

    android-pulltorefresh 一个强大的拉动刷新开源项目,支持各种控件下拉刷新 ListView、ViewPager、WevView、ExpandableListView、GridView、(Horizontal )ScrollView、Fragment上下左右拉动刷新,比下面...

  • 最常用的GitHub—— Android 开源项目整理(精品)

    android-pulltorefresh 一个强大的拉动刷新开源项目,支持各种控件下拉刷新 ListView、ViewPager、WevView、ExpandableListView、GridView、(Horizontal )ScrollView、Fragment上下左右拉动刷新,比下面...

  • 暴力拒绝白嫖,著名开源项目作者删库跑路!神秘Bug影响超2万个项目,亚马逊云也躺枪...

    据火线安全不完全统计,仅在Github上,就有60644个开源项目发布的321094软件包存在风险,这一漏洞可以说是影响了互联网上70%以上企业系统的正常运转。 由于Java应用程序通常会记录各种各样的事件,例如用户发送和...

  • 开源项目总结帖(整理自Trinea的github)

    android-pulltorefresh 一个强大的拉动刷新开源项目,支持各种控件下拉刷新 ListView、ViewPager、WevView、ExpandableListView、GridView、(Horizontal )ScrollView、Fragment上下左右拉动刷新,比下面...

  • GitHub 优秀的 Android 开源项目和框架

    GitHub 优秀的 Android 开源项目 淘宝技术牛p博客整理开发中最常用的GitHub上 优秀的 Android 开源项目整理(精品) 博客分类:  Android 开源集合   本文章已收录于: Git 原文地址为...

  • 转 【Android 应用开发】GitHub 优秀的 Android 开源项目

    android-pulltorefresh 一个强大的拉动刷新开源项目,支持各种控件下拉刷新 ListView、ViewPager、WevView、ExpandableListView、GridView、(Horizontal )ScrollView、Fragment上下左右拉动刷新,比下面...

  • 【Android 应用开发】GitHub 优秀的 Android 开源项目

    android-pulltorefresh 一个强大的拉动刷新开源项目,支持各种控件下拉刷新 ListView、ViewPager、WevView、ExpandableListView、GridView、(Horizontal )ScrollView、Fragment上下左右拉动刷新,比下面...

  • GitHub 优秀的 Android 开源项目(值得研究)

    android-pulltorefresh 一个强大的拉动刷新开源项目,支持各种控件下拉刷新 ListView、ViewPager、WevView、ExpandableListView、GridView、(Horizontal )ScrollView、Fragment上下左右拉动刷新,比下面...

  • 别瞎搞了!微博、知乎就是这么设计Feed流系统的~

    点击上方好好学java,选择星标公众号 重磅资讯,干货,第一时间送达 今日推荐:14 个 github 项目!个人原创100W +访问量博客:点击前往,查看更多 # 简介差不多...

  • 淦!女票问我能不能开发一个微信朋友圈、微博?

    点击上方“芋道源码”,选择“设为星标”管她前浪,还是后浪?能浪的浪,才是好浪!每天 8:55 更新文章,每天掉亿点点头发...源码精品专栏原创 | Java 2020 超神之路,很肝~...

  • 飞歌G6IV刷机包,恢复出厂解决车机问题

    飞歌G6IV刷机包,恢复出厂解决车机问题

  • 人工智能大作业-无人机图像目标检测.zip

    无人机最强算法源码,易于部署和学习交流使用

  • node-v10.9.0-linux-s390x.tar.xz

    Node.js,简称Node,是一个开源且跨平台的JavaScript运行时环境,它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立,旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎,可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型,这使得它非常适合处理大量并发连接,从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外,Node.js使用了模块化的架构,通过npm(Node package manager,Node包管理器),社区成员可以共享和复用代码,极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展,它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等,因此,开发者可以用JavaScript编写全栈应用程序,这一点大大提高了开发效率和便捷性。 在实践中,许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台,如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能,简化了开发流程,并且能更快地响应市场需求。

  • Telecord机器人,无electron依赖。.zip

    无人机最强源码,无人机算法,易于部署和学习交流使用

  • 中国统计NJ面板数据-(更新至2022年)林业有害生物防治情况.xls

    数据来源:中国统计NJ-2023版

  • 无人机共享平台小程序.zip

    无人机最强算法源码,易于部署和学习交流使用

  • node-v10.14.2-linux-ppc64le.tar.xz

    Node.js,简称Node,是一个开源且跨平台的JavaScript运行时环境,它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立,旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎,可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型,这使得它非常适合处理大量并发连接,从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外,Node.js使用了模块化的架构,通过npm(Node package manager,Node包管理器),社区成员可以共享和复用代码,极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展,它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等,因此,开发者可以用JavaScript编写全栈应用程序,这一点大大提高了开发效率和便捷性。 在实践中,许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台,如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能,简化了开发流程,并且能更快地响应市场需求。

Global site tag (gtag.js) - Google Analytics