大数据教父Micheal Stonebraker告诉你大数据的秘密 资讯

在量方面,第一种情况是你要想做一些非常愚蠢的分析,比如说 SQL 分析。第二种情况是,你想要做非常复杂的分析。前者是比较简单的,如果你想做 SQL 分析的话,我知道你可能要在上百个节点, PB 的数

jopen 2016-01-04   35285   0
大数据   SQL  

Scala在挖财的应用实践 经验

分布存储这块是用阿里巴巴之前开源的一个中间件Cobar。消息和实时计算这块主要是Kafka, Storm,日志以及监控系统则是用典型的ELK和Zabbix。另外我们将要放弃MongoDB和Memcac

jopen 2015-12-30   66389   0

五分钟了解你不得不知道的人工智能热门词汇 经验

单独看作一种学习的方法。按照学习目的来分,机器学习涵盖了回归、分类、聚类、异常监测、量纲学习和因果分析等。 深度学习 :最初的深度学习是利用深度神经网络来解决特征表达的一种学习过程。深度神经网络本

Apache Ignite 初探 经验

中,欢迎关注InfoQ微信公众号第一时间阅读精品内容。 3 Ignite和Hadoop以及Spark的关系 Ignite和Hadoop解决的是不同的问题,即使在一定程度上可能应用了类似的底层基

jopen 2015-11-23   18826   0
P7

  大规模日志收集处理项目的技术总结 文档

细介绍了。 简介 TLog是一个分布式的,可靠的,对大量数据进行收集、分析、展现的的系统。主要应用场景是收集大量的运行时日志,分析并结构化存储,提供数据查询和展现。 服务能力 · 收集淘宝线上8000+台机器的日志,每天日志量5T+。

tony2007 2015-06-19   618   0

腾讯正式开源高性能分布式计算平台Angel1.0,追赶同行脚步 资讯

和 Scala 开发,能在社区的 Yarn 上直接调度运行,并基于 PS Service,支持 Spark on Angel,未来将会支持图计算和深度学习框架集成。 根据腾讯大数据部的说法,Angel

jopen 2017-06-19   19782   0
腾讯  

阿里类似Hadoop MapReduce的系统:jstorm 经验

Storm 是一个类似Hadoop MapReduce的系统, 用户按照指定的接口实现一个任务,然后将这个任务递交给JStorm系统,Jstorm将这个任务跑起来,并且按7 * 24小时运行起来,一旦中间一个worker

jopen 2014-02-27   43539   0

Apache Mesos 0.24.0 发布,集群管理器 资讯

Mesos是一个集群管理器,提供了有效的、跨分布式应用或框架的资源隔离和共享,可以运行Hadoop、MPI、Hypertable、Spark。 Apache Mesos 0.24.0 发布,此版本更新内容如下: Bug 修复

jopen 2015-09-20   7915   0

GitHub中最火的开源项目及编程语言 资讯

dotcloud/docker (45) Java 1 32 255 nathanmarz/storm (56) VimL 1 23 66 mathiasbynens/dotfiles

jopen 2013-12-25   24573   0

Java程序员使用的20几个大数据工具 资讯

——一个开源的企业搜索平台,用 Java 编写的,来自于 Apache Lucene 项目。 Spark ——Apache Software Foundation 中最活跃的项目,一个开源的集群计算框架。

jopen 2016-01-28   21110   1
Java  

能否利用Hadoop搭建完整的云计算平台? 问答

实现。这就是你说的构件了。 包括我们看到的Hadoop2.0中,引入的新的处理框架,SparkStorm,YARN(取代MR),都是Hadoop生态系统的完善与实现。 Hadoop实现的是在

jopen 2015-03-18   14267   1
Hadoop   ci   云计算   C/C++   SQL  

十八款Hadoop工具帮你驯服大数据 经验

Hadoop为本地数据存储与同步系统提供一套简化抽象机制,从而保证程序员能够将注意力集中在编写代码以实现数据分析工作上,其它工作交给 Hadoop处理即可。Hadoop会将任务加以拆分并设计执行规程。错误或者故

jopen 2016-01-05   23769   0
P40

  Jstorm 介绍 文档

流式计算为什么开发Jstorm现状 3. 自我介绍JStorm团队 是国内最早开始使用storm的团队 历经storm 0.5.1/0.5.4/0.6.0/0.6.2/0.7.0/0.7.1 Jstorm

zts2014 2014-10-16   471   0

这些年,这些挖掘机算法,这些反思 资讯

分词,去停词,作为最基本的知识点向量,然后就计算模型概率了。不过比较有趣的是,分类过程是放在 Storm 里头做的,相当于这是一个实时的分类业务。 (2)说到了文本,自然少不了分词算法了 其实

gww3 2015-05-14   28965   0
算法  

Scala开发资源集合:Awesome Scala 经验

immutability. MLLib — Machine Learning framework for Spark Saddle — A minimalist port of Pandas to Scala Spire

jopen 2014-10-11   83020   0

Twitter开源了流数据处理引擎Heron 经验

开源Heron。Heron是 Apache Storm 的后继者,也是一种流数据处理引擎。为方便开发人员对Heron的采用,Heron向后兼容Apache Storm。Heron所给出的可扩展性、调试能力、

MosKesler 2016-10-09   7776   0

Apache Ignite(一):简介以及和Coherence、Gemfire、Redis等的比较 经验

规模、大数据量、高并发企业级或者互联网应用面临的若干痛点。 三、Ignite和Hadoop以及Spark的关系 Ignite和Hadoop解决的是不同的问题,即使在一定程度上可能应用了类似的底层基

jopen 2016-01-12   20334   0

Apache Kylin在百度地图的实践 资讯

百度地图开放平台业务部数据智能组主要负责百度地图内部相关业务的大数据计算分析,处理日常百亿级规模数据,为不同业务提供单条SQL毫秒级响应的OLAP多维分析查询服务。 对于Apache Kylin在实际生产环境中

jopen 2016-01-05   55700   1

图灵访谈 : IBM美女工程师Holden Karau:寻找友善的人一起共事 资讯

Karau是IBM首席软件工程师,负责改进Apache Spark并协助开发者向Spark贡献代码。Holden曾是Databricks的软件开发工程师,负责Spark和Databricks Cloud的后端开发

jopen 2016-02-16   10850   0

TensorFlow 资源大全中文版 经验

TensorFlow-Slim – TensorFlow中的高级别简化版库 TensorFrames – Apache Spark上DataFrames的TensorFlow封装 caffe-tensorflow – 转换Caffe模型为TensorFlow的模式

wtry1481 2017-03-14   52192   0
1 2 3 4 5 6 7 8 9 10