• 基于云上分布式NoSQL的海量气象数据存储和查询方案 已认证的机构

     发表于 3 周 前

    气象数据是一类典型的大数据,具有数据量大、时效性高、数据种类丰富等特点。气象数据中大量的数据是时空数据,记录了时间和空间范围内各个点的各个物理量的观测量或者模拟量,每天产生的数据量...

  • 云时代的终结

     发表于 3 周 前

    我们正面临云时代的终结,这是一个很大胆的论调,甚至有一些疯狂,但请耐心看完下面的内容。...

  • 关于云存储系统的六大技术分析

     发表于 1 个月 前

    随着监控领域的飞速发展,新技术的诞生也是接踵而至,云存储是人们最为乐道的高新技术产品。它具有如下几大主要的技术。...

  • Apache Beam实战指南之基础入门

     发表于 2 个月 前

    随着大数据 2.0 时代悄然到来,大数据从简单的批处理扩展到了实时处理、流处理、交互式查询和机器学习应用。早期的处理模型 (Map/Reduce) 早已经力不从心,而且也很难应用到...

  • 五分钟了解你不得不知道的人工智能热门词汇

     发表于 2 个月 前

    大数据和人工智能的浪潮正在席卷全球,众多热门词汇蜂拥而至:人工智能(Artificial Intelligence)、大数据(Big Data)、云计算(Cloud Computi...

  • 分布式架构的演进

     发表于 2 个月 前

    初始阶段 的小型系统 应用程序、数据库、文件等所有的资源都在一台服务器上通俗称为LAMP特征:应用程序、数据库、文件等所有的资源都在一台服务器上。描述:通常服务器操作系统使用lin...

  • Azure Stack设计哲学之物理架构探秘

     发表于 2 个月 前

    Azure Stack 作为微软最新的混合云产品,在整个软件架构和基础设施层面结合了原生的 Azure 技术与最新的 Windows Server 2016 软件定义数据中心(So...

  • 关于CarbonData+Spark SQL的一些应用实践和调优经验分享

     发表于 3 个月 前

    大数据时代,中大型企业数据的爆发式增长,几乎每天都能产生约 100GB 到 10TB 的数据。而企业数据分系统构建与扩张,导致不同应用场景下大数据冗余严重。行业亟需一个高效、统一的...

  • 腾讯云海量社交网络业务下的DevOps架构应用实践

     发表于 3 个月 前

    在DevOps的理念中,企业的IT价值链流转的速度越快,意味着企业的互联网产品的交付能力越强,这也意味着在同行业的竞争中,企业凭借IT能力的优势,能够收获更大的竞争优势。也因此,D...

  • HBase原理 – 所有Region切分的细节都在这里了

     发表于 3 个月 前

    Region自动切分是HBase能够拥有良好扩张性的最重要因素之一,也必然是所有分布式系统追求无限扩展性的一副良药。HBase系统中Region自动切分是如何实现的?这里面涉及很多...

  • 浅析 Bigtable 和 LevelDB 的实现

     发表于 4 个月 前

    在 2006 年的 OSDI 上,Google 发布了名为 Bigtable: A Distributed Storage System for Structured Data 的...

  • 云端的SRE发展与实践

     发表于 4 个月 前

    美团点评作为综合性多业务的互联网+生活服务平台,覆盖“吃住行游购娱”各个领域,SRE就会面临一些特殊的挑战。...

  • 深入浅出时序数据库之分布式计算

     发表于 4 个月 前

    物联网领域近期如火如荼,互联网和传统公司争相布局物联网。作为物联网领域数据存储的首选,时序数据库也越来越多进入人们的视野,而早在2016年7月,百度云在其天工物联网平台上发布了国内...

  • 9个最佳的大数据处理编程语言

     发表于 4 个月 前

    大数据的浪潮仍在继续。它渗透到了几乎所有的行业,信息像洪水一样地席卷企业,使得软件越发庞然大物,比如Excel看上去就变得越来越笨拙。数据处理不再无足轻重,并且对精密分析和强大又实...

  • 深入理解Hystrix之文档翻译

     发表于 4 个月 前

    在分布式系统中,服务与服务之间依赖错综复杂,一种不可避免的情况就是某些服务将会出现失败。Hystrix是一个库,它提供了服务与服务之间的容错功能,主要体现在延迟容错和容错,从而做到...

  • 浅谈分布式服务协调技术 Zookeeper

     发表于 4 个月 前

    Google的三篇论文影响了很多很多人,也影响了很多很多系统。这三篇论文一直是分布式领域传阅的经典。根据MapReduce,于是我们有了Hadoop;根据GFS,于是我们有了HDF...

  • 如何做到“恰好一次”地传递数十亿条消息

     发表于 5 个月 前

    在分布式领域中存在着三种类型的消息投递语义,分别是:最多一次(at-most-once)、至少一次(at-least-once)和恰好一次(exactly-once)。本文作者介绍...

  • Spark Block存储管理分析

     发表于 7 个月 前

    Apache Spark中,对Block的查询、存储管理,是通过唯一的Block ID来进行区分的。所以,了解Block ID的生成规则,能够帮助我们了解Block查询、存储过程中...

  • 一分钟吃透 Spark 之 TaskScheduler

     发表于 7 个月 前

    spark 调度器分为两个部分, 一个是 DagScheduler, 一个是 TaskScheduler, DagScheduler 主要是用来把一个 Job 根据宽依赖划分为多个...

  • 基于Ignite+Lucene+Log4j2的分布式统一日志查询最佳实践

     发表于 7 个月 前

    应用开发时的常规做法,是调用日志系统的API进行日志的记录,日志的具体记录方式,通过日志系统实现库对应的配置文件进行配置,比如使用log4j2的话,可能就是 log4j2.xml ...