英特尔放弃发行 Hadoop 版本,转而支持 Cloudera 资讯

据Marketwatch 报道 ,英特尔昨天作出了一个震惊整个大数据市场的决定——停止发行英特尔自己的Hadoop版本,转而支持Hadoop发行商Cloudera。 消息人士透露英特尔资本还将向Cloudera追加超过

jopen 2014-03-27   8374   0

Spark 数据挖掘 - 利用决策树预测森林覆盖面积 资讯

Spark 数据挖掘—利用决策树预测森林覆盖面积 1 前言 预测问题记住一点:最垃圾的预测就是使用平均值,如果你的预测连比直接给出平均值效果都要差,那就省省吧! 统计学诞生一个多世纪之后,随着

jopen 2015-11-03   32268   0
Spark  

Airbnb欺诈预测机器学习模型设计:准确率和召回率的故事 经验

来自房客或房东的欺诈风险是必须解决的问题。 Airbnb 信任和安全小组通过构建机器学习模型进行欺诈预测,本文介绍了其设计思想。假想模型是 预测某些虚拟人物是否为“反面人物”,基本步骤:构建模型预期,构建训练集和测试集,特

jopen 2015-07-16   20916   0

谷歌详解如何用机器学习攻克停车难,随时预测目的地停车状况 资讯

近日,谷歌在安卓设备的更新中,为谷歌地图新增了一项功能——预测目的地的停车状况。 用户只需在谷歌地图中查询路线,就可以看到一个新的图标。如果谷歌预测到你所去的目的地可能有停车难的风险,你就会看到地图上出

jopen 2017-02-05   15614   0
Google  

Google发布神经天气模型,几秒钟预测整个美国的降水量 资讯

准确预测未来几分钟到几周的天气是一项基本的科学挑战,它可以对社会的许多方面产生广泛影响。 很多气象机构目前采用的预报是基于大气的物理模型。尽管在过去几十年有很大的改进,但这些模型本身受到计算要求的

五嘎子 2020-03-30   2075   0
Google  

用大数据预测雾霾,已获得环保部订单的微软是如何做到的? 资讯

噪音、交通拥堵和能耗等问题。尤其是在空气质量分析、监测这一领域里,已经和国内部分政府机构签约,目前预测范围覆盖了全国 300 多个城市。 所谓城市计算指的是计算机科学以城市为背景,跟城市规划、交通

jopen 2017-01-03   6445   0
微软  

2019 年 Java 和 JVM 生态系统预测:OpenJDK 将成为 Java 运行时市场领导者 经验

本文对 2019 年 Java 和 JVM 生态系统做了一些预测。 正如 InfoQ 2018 年度总结 中说的那样,Java 在 2018 年的发展势头非常有意思。 在我们步入 2019 之际,让我们来看看在新的一年中

码头工人 2019-01-04   12736   0
Java   OpenJDK   JVM   Java开发  

量子计算、区块链、自动驾驶将如何影响世界?15位科学家出预测 资讯

2018 年科技趋势预测。其中,15 位不同领域的科学家,对 IoT、量子计算、边缘计算、自然语言处理、区块链、自动驾驶等前沿技术将在 2018 年如何影响世界、影响社会生活做出了自己的预测。 施尧耘

jopen 2018-02-06   25931   0

CCF大数据专家委员会:2016年大数据发展趋势预测解读与行动建议 资讯

第二年大数据发展趋势的预测。从预测2013年到预测2016年,现在已经是第4次年度预测。每次预测都是基于对大专委专家委员观点的收集整理、投票、汇总、解读,最终形成年度预测,此预测是大专委群体智慧的结晶

jopen 2016-02-17   37372   0

Hadoop与关系数据库数据相互迁移工具 Apache Sqoop 1.4.5 发布 资讯

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。

jopen 2014-08-13   13701   0

雅虎如何在Hadoop集群上实现大规模分布式深度学习 资讯

过去十年中,雅虎在 Apache Hadoop 集群构建和扩展方面投入了很大的精力。目前,雅虎有 19 个 Hadoop 集群,其中包含 4 万多台服务器和超过 600PB 的存储。他们在这些集群上开发了大规模机器学习算法,将

vgtr 2015-10-27   15225   0
Hadoop  

高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南 经验

(WJW)高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南 为了部署HA集群,应该准备以下事情: namenode服务器: 运行namenode的服务器应该有相同的硬件配置

jopen 2015-01-08   56311   0

呼之欲出!比Spark快10倍的Hadoop3.0有哪些实用新特性? 经验

Apache  hadoop 项目组最新消息,hadoop3.x以后将会调整方案架构,将Mapreduce 基于内存+io+磁盘,共同处理数据。 其实最大改变的是hdfs,hdfs 通过最近bla

zfb1226 2016-06-02   26655   0

百度的Hadoop分布式文件系统图解:4000节点集群 经验

供了C++版的MapReduce接口。 百度HCE语言的有关内容,HCE是基于C++的Hadoop环境,是一个全功能C++环境,可以避开Java语言对于释放内存和资源申请的弊端,并在调用数据时

openkk 2012-08-25   23315   0

最详细的hadoop2.2.0集群的HA高可靠的最简单配置 经验

简介 hadoop中的NameNode好比是人的心脏,非常重要,绝对不可以停止工作。在hadoop1时代,只有一个NameNode。如果该NameNode数据丢失或者不能工作,那么整个集群就不

jopen 2014-01-26   107199   0

Hadoop老矣,为什么腾讯还要花精力在其开源发布上? 资讯

前些日子,腾讯主导开源大数据平台 Apache Hadoop 2.8.4 新版本发布的新闻引起了笔者的注意。自 Hadoop 从雅虎诞生之日起,已经走过了 10 来个年头,这期间,尤其是近年来,由华人作为

jopen 2018-07-11   15687   0
Hadoop   腾讯  

测试hadoop集群是否安装成功:网页监控页面和提交job运行 经验

1.hadoop2.6.0版本, 提交mapreduce程序 mkdir input cd input echo hello world >> file1 echo hello hadoop >> file2

RosCPG 2016-03-02   20889   0

专访王峰:Hadoop生态下一代计算引擎-streaming和batch的统一 资讯

编者按:Hadoop于2006年1月28日诞生,至今已有10年,它改变了企业对数据的存储、处理和分析的过程,加速了大数据的发展,形成了自己的极其火爆的技术生态圈,并受到非常广泛的应用。在2016年Ha

jopen 2016-03-02   33897   0
Hadoop  

Apache Knox v0.9.1发布,一个访问hadoop集群的restapi网关 资讯

Apache knox是一个访问hadoop集群的restapi网关,它为所有rest访问提供了一个简单的访问接口点,能完成3A认证(Authentication,Authorization,Auditing)和SSO(单点登录)等。

有容云 2016-08-04   12012   0

还不懂Hadoop分布式文件系统HDFS的工作原理? - 快来扫扫盲吧 资讯

原文 http://www.jizhuomi.com/software/455.html Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统,适合部署在廉价

jopen 2015-11-02   19493   0
HDFS  
1 2 3 4 5 6 7 8 9 10