实时大数据在风控中的实践


SACC2017 实时大数据在风控中的实践 ——数 美基础架构负责人 关涛 SACC2017 大 纲 背景介绍 面临挑战 业务分析 架构设计 经验心得 SACC2017 背景介绍 SACC2017 公司背景介绍 数美致力于构建大数据反欺诈服务,让世界更加“安全、公平、美好”! SACC2017 个人背景介绍 关 涛 数美技术总监、基础架构负责人 近十年大数据基础架构相关工作 北大计算机硕士 SACC2017 项目背景介绍 主要涉及两个领域:互联网反欺诈、互联网金融风控 互联网 (直播、电商、社交、 游戏、O2O等) 互联网金融 (信贷、理财等) SACC2017 面临挑战 SACC2017 面临挑战 数据巨大 时效极高 业务繁杂 SACC2017 挑战一:业务繁杂 支撑两大行 业 金融 • 银行、P2P、消费金融、 信贷、理财等 互联网 • 电商、直播、社交、资讯、 论坛、游戏等 提供多种产 品 金融风控 • 信贷、中介、逾期、可信 度分析 欺诈识别 • 垃圾文本识别、垃圾图片 识别 • 设备指纹、注册、登录、 薅羊毛 服务千家公 司 金融 • 中信银行、宜信、百度金 融、360借条、国美金融 等 互联网 • 小米、360、爱奇艺、 youku、斗鱼等 SACC2017 挑战二:数据巨大 •黑产掌握了数十亿的账号,所衍生的黑产业年获利超百亿。 —— 2017网络安全生态峰会发布《电子商务生态安全白皮书》账号数量大 •黑产从业人数超过150万人,市场规模高达千亿级别。——《电子商务 生态安全白皮书》从业人数多 •金融、电商、直播、论坛、社交、游戏等。——《2017黑产行业分析 报告》涉及行业广 •对接千家客户风控需求,每天请求量10亿左右,涉及亿级别的设备与 账号——《2017数美业务分析报告》风控数据大 •每秒请求上万QPS,高峰期十万QPS——《2017数美系统分析报告》系统请求大 •亿级别设备、账号画像、手机号库、联系方式库、IP库——《2017数美 数据分析研究报告》画像数据大 SACC2017 挑战三:时效极高 黑产实时变化 • 黑产实时欺诈 • 大量实时攻击 • 黑产实时变策 数美实时风控 • 业务需求及时响应 • 策略及时生效上线 • 策略实时动态调整 SACC2017 业务分析 SACC2017 金融风控流程分析 SACC2017 互联网风控流程分析 启动 注册 登录 业务行为 反欺诈SDK • 虚拟机 • 篡改设备 注册保护 • 机器注册 登录保护 • 撞库攻击 • 盗号登录 • 养号 营销反作弊 垃圾文本识别 垃圾图片识别 • 垃圾广告 • 羊毛党 SACC2017 架构设计 SACC2017 架构设计——设计前的分析 业务繁杂——化繁为简、灵活配置 • 化繁为简:抽象业务共同核心逻辑、集中力量解决核心问题 • 灵活配置:为各业务公司构建灵活个性化可视化配置界面 数据巨大——系统易扩、工具平台 • 系统易扩:解决所有系统的单点问题,支持水平扩展 • 工具平台:利用成熟工具搭建大数据平台,提供各种工具支持业务大数 据分析。 时效极高——快、快、快 • 策略实时变化:高度可配置的平台、可视化实时分析与配置。 • 业务实时处理:设计实时数据流,实时沉淀画像,系统实时学习。 • 巨量实时请求:构建缓存机制、索引机制、异步机制、容错机制、自降 级机制。 SACC2017 架构设计——核心关键 全方位的风控:关联的判定 各种关联的行为 各种关联的实体 实体层次的风控:实体的判定 多次恶的行为 多种恶的行为 行为层次的风控:行为的判定 垃圾文本 注册保护 登录保护 薅羊毛 实时决策引擎 实时画像引擎 数据分析平台 抓住核心关键,即可化繁为简 SACC2017 架构设计——整体设计 预处理 联系方式服务 模型服务 基础服务层: 实时统计引擎 实时画像引擎 实时决策引擎 后处理 …基础服务 用户请求接口 实时画像引擎 决策规则库 分布式画像库 (一致性hash实现水平扩容) 数 据 分 析 平 台 SACC2017 实时决策引擎——灵活配置、快速决策 通用性:重要的是灵活 • 不同产品配置不同的数据流图 • 不同场景配置不同的规则策略 时效性:重要的是快快快 • 系统的决策:实时计算实时决策 • 系统的升级:写代码 => 写规则 => 可视化配 置 SACC2017 实时决策引擎——详细设计 数量流图计算 决策规则库 加载 用户请求接口 根据产品及配置的变量动态计算数据流图 Clips 规则引擎 加载 实 时 决 策 引 擎 并发调用基础服务 基于数据流图并发调用相关基础服务并计算相关变量 可 视 化 配 置 界 面 配置 产品服务存储变量 配置 SACC2017 实时画像引擎——多环节联动联防 设备指纹 画像数据 设备指纹 实时画像引擎 实时画像 注册 登录 文本 图片 其他… 用户行为 注册相关 画像数据 登录相关 画像数据 文本相关 画像数据 图片相关 画像数据 其他相关 画像数据 SACC2017 实时画像引擎——实时沉淀、构建画像 发现规则模块 发现规则库 加载 决策引擎 用户请求的特征数据 根据规则生成实体画像属性 数据沉淀模块 数据配置 配置 根据配置决定写入的数据库 设备画像库 IP画像库 账号画像库 ……画像 实 时 画 像 引 擎 SACC2017 数据分析平台 业务分析 内容分析 •广告、色情、涉政 行为分析 •重复、频度 画像分析 •静态属性、动态属性、关 联属性 系统分析 性能分析 •分析各服务耗时 稳定性分析 •分析各服务失败率 超时率分析 •分析超时率 分析工具 搜索 •提供搜索工具 聚合 •关联聚合工具 统计 •统计工具 SACC2017 数据分析平台——业务分析 构建可视化Saas平台 SACC2017 数据分析平台——系统分析 ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平台 SACC2017 数据分析平台——分析工具 搜索与聚合 聚合与统计 SACC2017 经验心得 SACC2017 经验与心得 简约设计:化繁为简 • 避免过度:不过早引入额外系统、额外资源 • 灵活可配:可以通过配置的方式实现各种变化 • 扩容简单:消灭结构性单点,可水平线性扩容 优化性能:极速体验 • 尽量缓存:缓存避免重复计算大大提升性能 • 设计索引:合理索引结构可提升服务性能 • 异步优化:避免同步阻塞影响线上服务性能 便捷运维:稳定根基 • 多数据中心:异地多活 • 熔断自降级:高压下系统各个服务自降级避免雪崩 • 多维度监控:可视化工具实时监控 抓住核心:事半功倍 • 优先分析:一定要先分析清楚核心问题,再对症下药 • 不要瞎忙:无关痛痒的问题一律不做 • 聚焦精力:80%的精力要投入到最核心的事情上 SACC2017 THANKS SACC2017
还剩29页未读

继续阅读

下载pdf到电脑,查找使用更方便

pdf的实际排版效果,会与网站的显示效果略有不同!!

需要 10 金币 [ 分享pdf获得金币 ] 0 人已下载

下载pdf

pdf贡献者

WindStand

贡献于2018-01-08

下载需要 10 金币 [金币充值 ]
亲,您也可以通过 分享原创pdf 来获得金币奖励!
下载pdf