• 常用的几种大数据架构剖析

     发表于 9 个月 前

    数据分析工作虽然隐藏在业务系统背后,但是具有非常重要的作用,数据分析的结果对决策、业务发展有着举足轻重的作用。随着大数据技术的发展,数据挖掘、数据探索等专有名词曝光度越来越高,但是...

  • 日存储量超10TB,海量数据挑战下腾讯全链路日志监控平台实践

     发表于 1 年 前

    本文主要介绍腾讯 SNG 开发全链路日志监控平台所经历的挑战及解决方案。...

  • 如何做到单机毫秒完成上亿规模大数据常规统计

     发表于 1 年 前

    虽然现在最火的是AI,但是大数据和计算能力仍然是机器学习/AI算法的重要支撑,我们的业务场景大部分是通过手机终端、服务器日志不断产生日志数据,通过消息通道发送到大数据平台进行存储、...

  • 开源大数据分析工具!

     发表于 1 年 前

    据已经成为现代化企业中重要的宝贵资源。一切决策、策略或者方法都需要依托于对数据的分析方可实现。随着“大数据分析”逐步替代其上代版本,即“商务智能”,企业正面临着一个更加复杂、且商业...

  • 9个最佳的大数据处理编程语言

     发表于 1 年 前

    大数据的浪潮仍在继续。它渗透到了几乎所有的行业,信息像洪水一样地席卷企业,使得软件越发庞然大物,比如Excel看上去就变得越来越笨拙。数据处理不再无足轻重,并且对精密分析和强大又实...

  • 基于大数据的机器学习:Apache SystemML 在 IBM BigInsights 的实践

     发表于 1 年 前

    机器学习是让计算机从数据中学习的科学和艺术。换句话说,可以训练计算机来了解数据科学家创建的模型。该计算机将使用算法从其接收的数据中迭代学习,并发现该数据中的模式。...

  • Flink 原理与实现:内存管理

     发表于 1 年 前

    Apache Flink(下简称Flink)项目是大数据处理领域最近冉冉升起的一颗新星,其不同于其他大数据项目的诸多特性吸引了越来越多人的关注。本文将深入分析Flink的一些关键技...

  • 滴滴出行海量数据背后的高可用架构

     发表于 1 年 前

    许令波,花名君山,现任滴滴出行技术研究员,从事容器化和资源调度方面的技术建设。曾在淘宝工作七余载,经历了淘宝网 PV 从 1 到 50 亿的增长历程。其中涉及端与管道、应用层代码级...

  • 兼顾稳定和性能,58大数据平台的技术演进与实践

     发表于 1 年 前

    58大数据平台在最近一年半的时间内技术演进的过程。主要内容分为三方面:58大数据平台目前的整体架构是怎么样的;最近一年半的时间内我们面临的问题、挑战以及技术演进过程;以及未来的规划...

  • 通过 SonarG 释放 Guardium 数据的价值

     发表于 1 年 前

    对于使用 IBM® Security Guardium® 实现数据安全和合规性的企业而言,所收集的海量审计数据可能给他们带来挑战。通过对 Guardium 使用 SonarG 大数...

  • 大数据和区块链之间的比较分析

     发表于 1 年 前

    大数据和区块链两者之间有个共同的关键词:分布式,代表了一种从技术权威垄断到去中心化的转变。...

  • 基于Pandas+ECharts的金融大数据可视化实现方案

     发表于 1 年 前

    最近无意中看到一篇文章,介绍的是在IPython Notebook里实现ECharts的可视化效果。我个人对ECharts一直是推崇有加,是baidu发布的开源项目中我比较喜欢的一...

  • 图数据库——大数据时代的高铁

     发表于 1 年 前

    众多不同的数据模型里,关系数据模型自20世纪80年代就处于统治地位,而且出现了不少巨头,如Oracle、MySQL和MSSQL,它们也被称为关系数据库管理系统(RDBMS)。然而,...

  • 大数据技术文章合集

     发表于 1 年 前

    ...

  • MySQL 如何存储大数据

     发表于 1 年 前

    最近,在工作中遇到了MySQL中如何存储长度较长的字段类型问题,于是花了一周多的时间抽空学习了一下,并且记录下来。...

  • 大数据挖掘更多时间都在于清洗数据

     发表于 2 年 前

    很多初学的朋友对大数据挖掘第一直观的印象,都只是业务模型,以及组成模型背后的各种算法原理。往往忽视了整个业务场景建模过程中,看似最普通,却又最精髓的特征数据清洗。可谓是平平无奇,却...

  • SyncSpout:用来构造可交互的、同步的 Storm 拓扑的组件

     发表于 2 年 前

    SyncSpout是上海华瑞银行(SHRB)大数据团队开发的,用来构造可交互的、同步的Storm拓扑的组件。我们在做实时推荐系统中,希望将Storm的并发性和分布式计算能力应用到“...

  • SyncSpout:用来构造可交互的、同步的 Storm 拓扑的组件

     发表于 2 年 前

    SyncSpout是上海华瑞银行(SHRB)大数据团队开发的,用来构造可交互的、同步的Storm拓扑的组件。我们在做实时推荐系统中,希望将Storm的并发性和分布式计算能力应用到“...

  • 2017年大数据发展八大预测

     发表于 2 年 前

    又到了年终岁尾时,业界权威市场研究和咨询机构Ovum公司日前估计,大数据市场规模将从2016年的17亿美元增长到2020年的94亿美元。随着市场的增长,企业的挑战正在转变,对人们的...