HDFS Federation在美团点评的应用与改进 经验

1,使用了Kerberos作为认证支持;相关技术栈中,Spark应用版本包含1.1、1.3、1.4、1.5,同时使用了Zeppelin作为Spark notebook的开发工具;在查询引擎方面Hive有0

juce7588 2017-04-11   36681   0
P3

  CentOS平台Openfire搭建过程 文档

-p Enter password:****** 输入密码即可进入mysql命令提示行 注意:当第一次修改密码后,重启服务器的话,可能由于一些权限问题会让你无法进入mysql,并会有以下类似提示: ERROR

zwz0406 2011-04-21   8949   0

Mercury:唯品会全链路应用监控系统解决方案详解(含 PPT) 经验

建设一个完整的全链路监控体系是需要考虑以上这几个过程。 全链路监控技术栈 技术栈,我们的体系有用了很多的技术,Spark 、 Open  TSDB  、HBase  、Elastic Search,Kafka,Flume,Python

x609726871 2016-08-09   121191   0

SparkR:数据科学家的新利器 经验

R是数据科学家中最流行的编程语言和环境之一,在Spark中加入对R的支持是社区中较受关注的话题。作为增强Spark对数据科学家群体吸引力 的最新举措,最近发布的Spark 1.4版本在现有的Scala/Jav

jopen 2015-10-24   49850   0
SparkR  

Mesos和Docker分布式计算平台 经验

务调度。基于Mesos之上可以运行不同的分布式计算平台,如Spark、Storm、Hadoop、Marathon和Chronos等。Spark、Storm和Hadoop这样的计算平台有任务调度功能,可以直接使用Mesos

BetBarnard 2016-08-18   17982   0

基于Mesos和Docker的分布式计算平台 经验

调度。基于Mesos之上可以运行不同的 分布式计算平台,如Spark、Storm、Hadoop、Marathon和Chronos等。Spark、Storm和Hadoop这样的计算平台有 任务调度功能,可以直接使用Mesos

jopen 2015-06-09   29935   0

研究机器学习之MLlib实践经验 经验

Dimensionality Reduction, Model Selection等。 目前最新的Spark 1.1.0版本中MLlib主要还是对核心算法的支持,辅助处理模块还很不完善。源代码包和其功能的对应关系如下:

jopen 2014-12-27   51748   0

卡耐基梅隆大学教授邢波:Petuum,大数据分布式机器学习平台 资讯

的假设:我只要把它能够跑起来,它肯定能跑对,肯定 会收敛。如果系统中还有一个特殊编程模型,比如Spark里面有一个RDD,GraphLab中有一个节点模型,他们就会假设,无论什么机器学习的算法都 可以

jopen 2015-01-21   25613   0

Apache Kylin在百度地图的实践 资讯

析查询服务,在技术选型过程中,我们参考了Apache Drill、Presto、Impala、Spark SQL、Apache Kylin等。对于Apache Drill和Presto因生产环境案例较

jopen 2016-01-05   55700   1

使用Docker进行Java开发 经验

Web框架,但我这里并不打算使用它们。我只想要的是一个小的框架所以我选择了Spark,它是一个基于Java 8的极小的框架。Spark使用Maven作为构建工具。 源代码和配置文件 在这个例子中你要增加三个文件:

jopen 2014-12-23   54912   0
Docker  

如何使用Docker进行Java入门级开发 经验

Web框架,但我这里并不打算使用它们。我只想要的是一个小的框架所以我选择了Spark,它是一个基于Java 8的极小的框架。Spark使用Maven作为构建工具。 源代码和配置文件 在这个例子中你要增加三个文件:

jopen 2015-02-01   20630   0
Docker  
P9

  Openfire 环境搭建 文档

Linux:ubuntu 12.10 Win:Windows 7 版本:Openfire 3.9.1 Spark 2.6.3 Java统一使用6u45这个版本 1 Openfire服务器部署(非源码) 1.1

scwsl 2014-04-24   525   0
P11

  大数据最火爆语言Scala光速入门-笔记 文档

的亮点)。此外,许多相似于高级编程语言的语法也渗入其中(例如 Python),不仅提高了 Scala 代码的可读性,维护、修改起来也较为省时省力。 Scala 与 Java 语法上的明显差异有: l 不需要分号结尾 l 类型定义开头需大写(与

nbj 2016-01-14   584   0

Codeigniter框架的Oauth2验证: Oauth2 SocialAuth for CodeIgniter 经验

本程序修改自 codeigniter-oauth2 . 代码默认适配codeigniter框架,简单修改可以适用于任何框架或者非框架使用。有任何疑问或想法请issue或者pull request。 修改点

jopen 2013-02-18   93295   0

解读2015之大数据篇:大数据的黄金时代 资讯

数据科学家这个职业的火热。 在关键技术进展部分我们在大数据生态圈众多技术中选取了Hadoop、Spark、Elasticsearch和Apache Kylin四个点,分别请了四位专家:Hulu的董西成、明略数据的梁堰波、

jopen 2016-01-08   53926   0

每一个Java程序员必须使用的 8 个最好的工具 资讯

Spark是一个微型的Java Web框架,它的灵感来自于Sinatra,它的目的是让你以最小的代价创建出一个Java Web应用。 Spark拥有简单而直接的方法。您可以使用Spark框架做一

jopen 2015-03-04   32552   0
工具  

基于大数据的机器学习:Apache SystemML 在 IBM BigInsights 的实践 经验

Apache 顶级项目。目前 SystemML 作为 Apache 顶级项目的最新版本是 0.14,支持 Spark 2.x。Apache SystemML 在 2016 年被 datamation.com 列为

dlb124 2017-06-14   46102   0

Java开发者值得关注的7款新工具 资讯

。 核心功能: 瓶颈问题检测(磁盘 I/O、垃圾回收、死锁等) 行动计划——会根据问题提出修改建议,例如“应用程序需要增加活动线程数。” 说明——会界定一般问题以及常见的案例,例如在 GC 中,长时间的暂停可能表示堆体积过小。

jopen 2014-10-21   11491   0
Java  

360开源其深度学习调度平台,支持TensorFlow、MXNet等框架 资讯

013 年加入奇虎 360,先后参与公司 Hadoop、Spark 、深度学习等平台的建设,历经公司 Hadoop 平台高速发展及 Spark 平台从无到大规模实践及深度学习平台的落地。曾主持数据仓库索引、MPI

jopen 2017-12-07   26919   0
360   XLearning   开源  

开发者必备:基于Linux生态的十大AI开源框架盘点 资讯

每天可以处理超过 60M 的图片数据),模块定制方便(在 CPU 或 GPU 之间的转换只需要简单修改一下参数设定),扩展能力强大(目前有超过一千名开发者基于 Caffe 开发了分支版本),以及丰富的社区支持(Caffe

jopen 2017-01-12   28012   0
Linux   AI  
1 2 3 4 5 6 7 8 9 10