Hortonworks 公司,由 Yahoo!和 Benchmark Capital 于2011年7月联合创建,宣布了一款基于 Hadoop 的数据平台的技术预览版。该公司雇佣了众多 Hadoop 项目的核心人员欲以提供相应的支持和培训。
继“ YARN or Mesos?Spark痛点探讨 ”、“ Mesos资源调度与管理的深入分享与交流 ”、及“ 主流SQL on Hadoop框架选择 ”之后,CSDN Spark微信用户群邀请了王团结为大家分享Hadoop/Spark在七牛数据平台的实战。 王团结 , 七牛 数据平台工程师,主要负责数据平台的设计研发工作。关注大数据处理,高性能系统服务,关注Hadoop、Flume、Kafka、Spark等离线、分布式计算技术。
Basho数据平台 支持集成像 Redis 这样的NoSQL数据库、内存在分析、缓存及搜索。Basho Technologies是Riak NoSQL数据库的母公司。它在5月份 宣布 ,其数据平台可以用于部署和管理大数据、IoT和混合云应用程序。该平台集成了分布式NoSQL数据库 Riak KV (以前的Riak)和 Riak S2 (以前的Riak CS),并集成了 Apache Spark 用于内存内分析,集成Redis作为缓存以提升性能,集成Apache Solr实现查询功能。
工作需要,对公司的MYSQL数据库进行备份,赶上刚刚开始学python,看了一套简单的python教学视频,简单的写了个备份脚本,个人表示 对python 的class 、function、build-in function 、私有变量、全局变量 等等,该怎么用,啥时候用等 毫无概念 ,仅此记录一下吧,也欢迎路过的pythoner赐教。
Charlatan是一个各种格式列表或流记录的查询引擎。它默认支持CSV或JSON格式,但可以轻松扩展支付其它格式。它提供了一种类似SQL的语言来查询数据值。
用jquery解析JSON数据的方法,作为jquery异步请求的传输对象,jquery请求后返回的结果是json对象,这里考虑的都是服务器返回JSON形式的字符串的形式,对于利用JSONObject等插件封装的JSON对象,与此亦是大同小异,这里不再做说明。
python中要想处理excel,必须用到第三方模块xlrd,所以windows 我安装方法是cmd中命令:
最近我们 Team 利用 Dream 分布式计算平台,做了这样一件事情,将 Github 的大量数据通过爬虫抓取下来,通过分析后,我们抽取最近一年中部分的开发者和项目信息,得到了如下有趣的信息,故分享之,数据原汁原味,无人工干涉。
量化派是一家金融大数据公司,为金融机构提供数据服务和技术支持,也通过旗下产品“信用钱包”帮助个人用户展示经济财务等状况,撮合金融机构为用 户提供最优质的贷款服务。金融的本质是风险和流动性,但是目前中国对于个人方面的征信行业发展落后于欧美国家,个人消费金融的需求没有得到很好的满足。按 照央行最新数据,目前央行征信中心的数据覆盖人口达到8亿人[1],但其中有实际征信记录的只有3亿人左右,有5亿人在征信系统中只是一个身份证号码。
Apache HCatalog是基于Apache Hadoop之上的数据表和存储管理服务。
Apache Sentry 是一个高度模块化的系统。它为存储在Apache Hadoop集群中的数据和元数据提供了细粒度的、基于角色的认证功能。
Infovore是一个 map/reduce 框架用于处理 RDF大数据集比如 Freebase 和 DBpedia。它基于Hadoop实现。
世界上的软件80%是运行在内网的,为了使得运行在客户端的软件有良好的体验,并且得到有用的数据,我们需要对这些系统产生的数据,进行统计和分析,这个过程通常包括数据采集,清洗,建模,分析,报表等。接下来在本篇文章中,将会构建一个基于logstash,elasticSearch,kibana的一套数据收集分析的系统
本文主要是讲述选股的思路方法,选股条件和参数大家可以根据米哥提供的代码自行修改。
PyToolz:用python做大规模流数据分析。PyToolz是一组实用功能的迭代器,函数和字典的集合。
这次世界互联网大会几乎出席了所有中国顶尖互联网公司的 CEO,可谓盛况空前。在 11 月 19 日和 11 月 20 日两天中,大佬们纷纷登台演讲互动。
1. IT 不再重要 内容简介 这是一场在互联网领域引起轩然大波的激烈论战。这场论争你需要的大部分东西都在互联网上——而且还是免费的。其实,很早就有人警告说,传统的微软软件将失去对市场的控制力! 今天的计算就如同当年的电一样,正在完成从工具向效用的转变。未来,企业将不再需要自己的数据中心或是桌面软件! 类似Google之类的公司将托管全球数据处理和存储服务,其它企业只需付费即可使用! 2. 精益创
这是分析师Chetan Sharma通过征集众多移动互联网行业负责人的观点和意见,并在多家机构的支持和帮助下,做的一次较为全面的2012移动行业预测调查。在此我们将其整理出来,供移动互联网从业者参考。
首届世界互联网大会 19 日将在浙江乌镇拉开帷幕。为期三天的大会将以“互通互联共享共治”为主题,来自海内外互联网领域的领军人物即将云集这里,交流思想、探索规律、凝聚共识。本届大会是中国举办的规模最大,层次最高的互联网大会。
话说,在电脑出现之前的时代,字可是一个男人的脸面,虽然八姐是堂堂一介女流,但在上初中时还曾经苦练过字,就是怕以后写字太难看,吓跑了未来的白马王子。