P46 天猫–平台型电商平台型电商生态体系的繁荣三要素平台型电商生态体系的繁荣三要素行业垂直化品牌丰富度品类丰富度品牌时尚化行业垂直化行业的供应链多角色协同品牌线下竞争力接入平台品牌时尚化消费层次覆盖度服务分层化天猫五化战略下的架构挑战行业垂直化–架构思路(1)行业垂直化–架构思路(2)服务分层化和无线个性化–架构思路架构改造流程-商品平台向服务平台的转变Agenda能力的接入服务能力披露-服务市场物流商2安装商
P27 目录1、相关背景2、产品中心重构3、订单中心重构4、实践经验相关
P27 介绍实时数据平台背景实时数据平台解决方案关键环节详解关于平台产品化京东大数据平台定位支撑全集团数据业务全集团数据集中自助式服务平台模式京东大数据平台发展历程---技术选型2011年之前2011~20122012~至今京东大数据平台发展历程---技术选型传统商业数据仓库解决方案弊端高复杂度计算任务并发性差海量数据处理能力不足存储能力有限扩展性差成本高后期遇到的问题越来越多的ETL任务需要12点后才能完成任务排队现象严重基于流量等大数据量的批量计算和复杂推荐类算法基本无法应付存储达到上限,需不断转移历史数据京东大数据平台发展历程
P24 背景:广告数据流背景实时storm+离线mapreduce计算,多维度分析难点:如何把大量的信息从广告选取阶段传递至广告点击的模型训练?Protobuffer实时日志关联技术选型(1)方案一:广告请求时把信息编码到广告url里面。曝光和点击的时候再上报。缺点:广告url过长,“偷”用户流量,移动端优质APP难以接受。不能放入过多的信息。技术选型(2)方案二:在storm里面实现流式关联缺点:storm数据无法落地,需要有额外的存储方案解决storm重启的问题20%的曝光在广告请求20min以上,内存无法缓存如此长时间的请求数据。
P58 大数据的十个技术前沿
P22 关注沉淀的数据和实体来源的数据案例分享乘法效应+外部效应健康医疗肿瘤研究云服务ERPSaaS实体行业推广的问题小结基础设施人才技术数据困境数据的困境局部全局隐私统计特征价值定向瞄准基础设施的困境集中vs.分散拥有权和使用权回报效益的决定性因素、渐进式研究基于去隐私化的技术对数据分析算法和平台的重构数据服务稳定持续的数据服务提供平台工作分享——DataCoffeehouse可信任云平台建设数据分享和数据分析平台建设可信任云平台的目标问题安全信任问题是
P10 Content marketing is a marketing approach that can make customer obtain information, understand information and have incentive to exchange information without direct advertising and promoting activities.
P15 技术路线本系统采用“视图—逻辑处理—数据库”的MVC三层结构体系进行设计和整体开发。使用JSP+Servlet+JavaBean的技术,用MyEclipse为开发工具,结合Mysql数据库,较好地实现了预定的需求功能。系统功能描述系统主要有学生、教师、管理员三个用户,不同的用户可以完成不同的功能。系统功能描述系统功能描述管理员的功能:管理员信息维护、教师信息维护、学生信息维护、考生信息维护、课程信息维护、题目信息维护、学生成绩维护。主要是对各种信息的增、删、改、查,其中的搜索查询又可以分不同条件搜索查询。系统功能描述系统功能描述教师的功能:修改个人信息、题目信息维护、学生成绩维护、成绩查询分析。
P89 AIX基础培训教材目录第一章AIX简介第二章AIX命令附录第一章AIX简介主要内容:AIX与UNIXAIX的组成1.AIXAIX是IBM公司开发的UNIX系统,是用在IBM的RISC System/6000计算机上的专用操作系统。曾多次被业界评为最佳的商用UNIX系统。
P29 关系型数据库支持事务!可是我必须用NoSQL的怎么办?选择一个支持事务的NoSQL?还是自己实现一套事务机制?Whydoesitmatter?神马是事务?保障数据可靠地原子性操作一个事务中多个操作要么同时成功,要么同时失败工厂之间的货物转移是一个典型的事务操作。
P20 JMS即Java消息服务,是由Java官方提供的API,需要第三方Provider提供实现。类似于JDBC,它也是Java官方提供的API,需要其他数据库厂商提供实现。 JMS是面向消息的中间件(Message-Oriented Middleware),它提供了标准的产生、发送、接收消息的接口,简化企业应用的开发。
P43 软件资产管理知识(一)什么是软件资产管理软件资产管理的定义软件资产管理,Software Asset Management,简称SAM,是一种倡导以完善的管理模式和适当的技术支持体系,将软件作为企业的资产加以科学统筹管理的流程和方法。政府机关、企业和其他组织在其内部对软件资产进行有效管理、控制和保护的基础架构和流程,涉及从软件采购、分发、部署、维护、开发、到报废淘汰的整个生命周期。软件资产管理知识对企业的三大作用防范风险控制成本竞争优势1、法律风险;2、IT运营风险;
P31 项目管理基础知识培训一、项目的定义与特征二、项目的管理及特点三、项目管理的内容四、项目的风险管理五、项目收尾一次会议安排一个演出活动开发一种新产品设计并开发一个计算机系统建一幢房子举办奥运会建水利工程/高速公路/桥梁研制航天飞机项目的定义项目是一个组织为实现组织既定的目标,在一定的时间、人员和资源约束条件下,所开展的一种具有一定独特性的一次性工作;是为提供某项独特产品、服务或成果所作的一次性努力。
P41 游戏开发引擎
P20 Game development is primarily an act of communication, the limits of your language are the limits of your world.
P150 郝斌—java全集02(完)
P150 郝斌—java全集01
P12 希羽大纲典型的业务场景及问题MySQL层的现象问题的本质原因曾经的尝试方法问题的难点瞬间热点更新检测模型瞬间热点更新线程调度优化效果典型的业务场景及问题MySQL的性能瞬间急剧下降,TPS1W-->200MySQL层的现象绝大部分线程在更新商品库存量updatetset库存量-1where...正常的查询和更新的RT也剧增祈求业务降级以让DB抗过去问题的本质原因InnoDB层行锁机制每行更新请求都会创建一个记录锁对象成功加锁则执行,失败则被挂起相同的记录锁被HASH到同一桶中
P23 可扩展大数据(>100TB)增加/减少服务器持续可用易用SQL,ACID高性能TPS(>100k),QPS(>1M)低成本我们需要怎样的存储方案?数据总量很大,但每天更新量相对较小Alibaba2012双十一交易笔数1.1亿笔,假设对于某个业务,1笔交易操作10次数据库:写事务数:1.1亿*10=11亿修改增量:11亿*100B=110GB数据库业务的背后设计理念数据=基线数据+修改增量查询修改系统架构
P36 什么是Dubbo?分布式服务框架远程服务调用Netty/Mina/GrizzlyRMI/Hessian/WebService服务动态发现Zookeeper/Redis集群软负载均衡Random/RoundRobin集群失败容错Failover/Failback服务治理平台依赖关系与关键路键服务路由与动态配置服务降级与资源劣化权重调节与容量评估服务授权与黑白名单服务SLA与流程管理服务测试与Mock服务文档与负责人……分布式服务框架