P58

  大数据的十个技术前沿 文档

软件与硬件架构协同优化32针对硬件特点对软件栈优化 把硬件暴露给软件栈:NativeTask,Spark,线性代数库 重新设计软件栈:全闪存存储,NVRAM 一体机 云化:虚拟化和资源管理,HVE,YARN,Docker

cpp45 2015-01-18   4260   0

SparkSQL-从DataFrame说起 经验

Hadoop的唯一选择,负责将SQL解析成MR任务运行在大数据上,实现交互式查询、报表等功能。就在那个时候,Spark社区的小伙伴就意识到可以使用Spark作为执行引擎替换Hive中的MR,这样可以使Hive的执行效率得到极大提升。

MarthaRagan 2017-02-16   27679   0
P7

  Flex 布局与容器 文档

,建议使用 controlBarContent 属性来指定要包含在控件栏区域中的组件集。使用 Spark Panel 类的 controlBarLayout 属性来指定控件栏区域的布局。 l Appl

sunwe1987 2016-02-27   476   0
P10

  XMPP 协议使用开源Jabber (XMPP)协议及openfire架设内部即时通讯服务 文档

Windows Exodus, Pandion, Psi, Spark Linux Gajim, Gossip, Kopete, Pidgin, Psi, Spark, Tkabber Macintosh Adium

hnwjf 2014-03-01   477   0

事件流如何提高应用程序的扩展性、可靠性和可维护性 经验

非常低下,因为系统需要不断地重新扫描事件历史才能确 定某个人是否超出了限制。而针对每个IP每个时间窗口维护一个计数器将会更高效。总之,存储原始事件和存储聚合结果都是有用的,只不过应用场景不同。 对

jopen 2015-04-03   22838   0

轻量级大规模机器学习算法库Fregata开源:快速,无需调参 经验

1 目前的主流大数据处理技术都是以Map Reduce计算模式为核心的(包括Hadoop和Spark)。而 Map Reduce 计算模式下对第一个问题只能通过增加内存,SSD存储来解决或者缓解,

tianyuak47 2016-12-14   16216   0

大数据环境下互联网行业数据仓库/数据平台的架构之漫谈 经验

e来做分析与计算; Spark是这两年非常火的,经过实践,它的性能的确比MapReduce要好很多,而且和Hive、Yarn结合的越来越好,因此,必须支持使用 Spark和SparkSQL来做分析和计算。因为已经有Hadoop

jopen 2015-10-17   110870   0
数据  

IBM开源机器学习系统SystemML 资讯

SystemML ,将会通过 Apache Software Foundation 开放共享,并允许开发者修改其代码,目前 SystemML 已作为孵化器项目被 Apache 接纳。 ML 是 Machine

jopen 2015-11-25   17038   0

Scala学习资源 经验

文档—— Effective Scala 一个非常棒的 Scala网上教程 :可以直接在网页上修改程序和运行程序 很好的 Scala社区网站 :只是最近似乎很少更新 当然,不能忘记了Scala的

jopen 2014-07-24   43422   0

数据库管理工具 DBeaver v4.0.3 发布 资讯

提供一个图形界面用来查看数据库结构、执行SQL查询和脚本,浏览和导出数据,处理BLOB/CLOB 数据,修改数据库结构等等。 更新日志 SQL editor: context tooltips (F2) +

jopen 2017-03-19   7899   0

亚马逊Web服务发布2013年推荐技术内容列表 资讯

不同场景创建了一些 AWS CloudFormation 模板,这些模板可以非常简单的使用、启动和修改,并在此基础上建立了一些参考实施指导文档。我们还专门发布了五个专注于安全方面的白皮书,包括 AWS

jopen 2014-01-24   9537   0

大数据相关资源集合:Awesome Big Data 经验

originally developed at AddThis. AMPLab SIMR - run Spark on Hadoop MapReduce v1. Apache Crunch - a simple

jopen 2014-10-11   79484   0
P57

  大数据中心建设方案 文档

l分布式数据库集群,对现有的数据ETL采集、清洗、转换、汇总进来,使用海量数据分布存储技术,用spark、storm等大数据处理软件对hbase中的数据进行分析处理,挖掘数据价值。还可以在虚拟机上运行

guet_lee 2017-01-12   1207   0

典型大数据计算模式与系统 经验

批处理计算 Hadoop MapReduce,Spark等 流式计算 Scribe,Flume,Storm,S4, Spark Steaming等 迭代计算 HaLoop,i

jopen 2015-01-13   24959   0

Apache Hive 2.0.0 发布,数据仓库平台 资讯

HIVE-8858 ] -         Visualize generated Spark plan [Spark Branch] [ HIVE-9139 ] -         Clean up

jopen 2016-02-16   44369   0

Java微框架:不可忽视的新趋势 资讯

原文 http://www.infoq.com/cn/news/2015/06/Java-Spark-Jodd-Ninja 任何语言都有优缺点。对Java而言,它安全、经过严格测试、向后兼容,但却

jopen 2015-06-17   13767   0
Java  

开源项目,也可以是你的良师益友 资讯

后,发现那些代码片段太 Demo 了,而直接这么拷贝过来的代码片段往往隐含着巨大的危险。我一直在读 Spark 的代码,我就去翻阅了 Spark 中读取 Kafka 的代码,写的很漂亮,而且是 “工业级” 的,复用度也足够

jopen 2015-12-23   6598   0
开源  

大数据领域开源技术 除了Hadoop你还知道哪些 经验

存储项目提供所需的YARN、HDFS和基础架构,并且运行主要的大数据服务和应用程序。 Spark——使用简单、支持所有重要的大数据语言(Scala、Python、Java、R)。拥有强大的生态系统,成长迅速,对

黄色腾堡 2016-09-29   12525   0

【译】大数据分析平台搭建教程:基于Apache Zeppelin Notebook和R的交互式数据科学 经验

可协作的精美文档,并且支持多种语言,包括 Scala(使用 Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、 Markdown、Shell等等。

solari 2016-02-12   78611   0

Hadoop - Zeppelin 使用心得 经验

1.概述 在编写 Flink,Spark,Hive 等相关作业时,要是能快速的将我们所编写的作业能可视化在我们面前,是件让人兴奋的时,如果能带上趋势功能就更好了。今天,给大家介绍这么一款工具。它就

ti826184 2016-01-21   32642   0
1 2 3 4 5 6 7 8 9 10