P7 注:文章中提到的其他系统(如哈勃Agent、EagleEye)是公司内部的其他系统,这里就不详细介绍了。 简介 TLog是一个分布式的,可靠的,对大量数据进行收集、分析、展现的的系统。主要应用场景是收集大量的运行时日志,分析并结构化存储,提供数据查询和展现。
P33 执行或重复执行。此外,Hadoop还提供一个分布式文件系统用来在各个计算节点上存储数据,并提供了对数据读写的高吞吐率。由于应用了map/reduce和分布式文件系统,使得Hadoop框架具有高容错性,它会自动处理失败节点。
止一款产品(应用服务器本身除外)。正因如此,设计可扩展的 Java 企业级应用才会有些棘手,要完成任务,往往不仅没有可以参照的实例,而且要求我们必须彻彻底底地理解应用。 扩展类型 笔者确信你们不是
生产环境完成了Apache Kylin的首次完整部署。 Apache Kylin是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay
P11 据序列化处理与任务调度、数据挖掘和机器学习、列式存储在线数据库、元数据中心、工作流控制、系统部署配置监控、可视化处理等等方方面面。 大数据分析平台 一、海量数据存储及扩展能力 基于分布式HDFS文件系统存储,HA高可用配置,
i /etc/localtime #设置时区为北京时间,这里为上海,因为centos里面只有上海 定时同步(crontab -e) 0-59/10 * * * * /usr/sbin/ntpdate us
P94 对等(网络,计算)…;端到端… 以非集中方式使用分布式资源来完成关键任务的一类系统和应用 资源包括计算能力、数据(存储和内容)、网络带宽和场景(计算机、人和其它资源) 关键任务可能是分布式计算、数据/内容共享,通信和协同、或平台服务
P83 点继续工作。 中断处理过程:中断请求,中断响应,中断点(暂停当前任务并保存现场),中断处理例程,中断返回(恢复中断点的现场并继续原有任务 可处理算术溢出和非法操作码,死循环(利用时钟中断进行超时限定)
的包才可以尝试。除去编排 (stack), Docker 1.12 还引入了 服务 (service) 和任务 (task) 的概念, Docker 借此重新阐述了应用与容器 (container) 之间的关系。上述几个概念的关系如下图所示:
P25 编译,运行你的代码;运行UT或集成测试;将运行结果发送至邮件,或展示成报告。同时可以监控一些定时执行的任务。 为什么要用持续集成(Continuous integration)CI服务? 我们知道,软
靠问题;如:创建容器消息在MQ传输过程丢失,容器状态挂起,DB连接数过大,计算节点各种agent定时任务hang,部署升级无法核对升级结果。 京东基础平台部团队在openstack领域已经深入
在单线程事件驱动模型中,往往会遇到两种任务,定时处理任务及事件触发任务,于是会有如下问题:事件触发任务在无任务时,会处于阻塞状态;定时任务要求定时处理,于是往往会有如下两种处理方式: 1. 如果定时任务时间间隔为 t ,一般设
P20 graph.action.Script C(创建定时器): org.jbpm.scheduler.def.CreateTimerAction I(取消定时器): org.jbpm.scheduler.def
领域获得了一个稳定的基础。作为“面向服务架构”(SOA)的一个继任者,微服务同样也可以被归类为“分布式系统”这一类,并且进一步发扬了SOA中的许多概念与实践。不过,它们在不同之处在于每个单一服务所应承
来应对复杂应用的开发。这大大增加了选择合适工具和框架的难度,开发者想要将所有的大数据组件熟练运用几乎是一项不可能完成的任务。 面对这种情况,Google 在 2016 年 2 月宣布将大数据流水线产品(Google DataFlow)贡献给
P30 有的、新开发的系统如何去集成遗留的系统) 6,Transaction事务(全局/局部)全局事务(分布式事务)局部事务(在同一数据库联接内的事务) 7,Dynamic Redeployment(动态重新部署
、新开发的系统如何去集成遗留的系统) 6,Transaction事务(全局/局部)全局事务(分布式事务)局部事务(在同一数据库联接内的事务) 7,Dynamic Redeployment(动态重新部署
P40 是2005 Google MapReduce的一个Java实现。 MapReduce是一种简化的分布式编程模式,让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如 同java程序员可以不考虑内存泄露一样,
P43 利用JMeter的代理服务器功能进行脚本录制(2)在HTTP代理服务器中添加定时器-高斯随机定时器(用于告知Jmeter来在其生成的HTTP请求中自动的增加一个定时器)。定时器将会使相应的的取样器被延迟。 延时的规则是,在上一
P43 利用JMeter的代理服务器功能进行脚本录制(2)在HTTP代理服务器中添加定时器-高斯随机定时器(用于告知Jmeter来在其生成的HTTP请求中自动的增加一个定时器)。定时器将会使相应的的取样器被延迟。 延时的规则是,在上一