思科安全大数据分析框架:OpenSOC

OpenSOC   2014-12-20 10:23:13 发布
您的评价:
     
0.0
收藏     0收藏
文件夹
标签
(多个标签用逗号分隔)

思科在 BroCON 大会上亮相了其安全大数据分析架构 OpenSOC,引起了广泛关注。OpenSOC 是一个针对网络包和流的大数据分析框架,它是大数据分析与安全分析技术的结合, 能够实时的检测网络异常情况并且可以扩展很多节点,它的存储使用开源项目 Hadoop,实时索引使用开源项目 ElasticSearch,在线流分析使用著名的开源项目 Storm。OpenSOC 概念性体系架构如下图所示:
085108_1uuv_12.png

OpenSOC 主要功能包括:

  • 可扩展的接收器和分析器能够监视任何Telemetry数据源

  • 是一个扩展性很强的框架,且支持各种Telemetry数据流

  • 支持对Telemetry数据流的异常检测和基于规则实时告警

  • 通过预设时间使用Hadoop存储Telemetry的数据流

  • 支持使用ElasticSearch实现自动化实时索引Telemetry数据流

  • 支持使用Hive利用SQL查询存储在Hadoop中的数据

  • 能够兼容ODBC/JDBC和继承已有的分析工具

  • 具有丰富的分析应用,且能够集成已有的分析工具

  • 支持实时的Telemetry搜索和跨Telemetry的匹配

  • 支持自动生成报告、和异常报警

  • 支持原数据包的抓取、存储、重组

  • 支持数据驱动的安全模型

OpenSOC 官方文档介绍了以下五大优点:

  • 由思科全力支持,适用于内部多用户

  • 免费、开源、基于Apache协议授权

  • 基于高可扩展平台(Hadoop、Kafka、Storm)实现

  • 基于可扩展的插件式设计

  • 具有灵活的部署模式,可在企业内部部署或者云端部署

  • 具有集中化的管理流程、人员和数据

当前,OpenSOC 运行条件包括:

  • 两个网卡(建议使用Napatech的NT20E2-CAP网卡)

  • Apache Flume 1.4.0 版本及以上

  • Apache Kafka 0.8.1 版本及以上

  • Apache Storm 0.9 版本及以上

  • Apache Hadoop 2.x 系列的任意版本

  • Apache Hive 12 版本及以上(建议使用13版本)

  • Apache Hbase 0.94 版本及以上

  • ElasticSearch 1.1 版本及以上

  • MySQL 5.6 版本及以上等。

https://github.com/OpenSOC

扩展阅读

Spark大数据分析框架的核心部件
6个用于大数据分析的最好工具
实时大数据分析平台:Ebay Pulsar
解密Airbnb数据流编程神器:Caravel 颠覆许多大数据分析平台的开源工具
大数据的明天将驶向何方?

为您推荐

开源大数据处理系统/工具大全
机器学习与深度学习资料
近200篇机器学习&深度学习资料分享(含各种文档,视频,源码等)
机器学习(Machine Learning)&深度学习(Deep Learning)资料
GitHub上整理的一些工具

更多

OpenSOC
数据挖掘
相关文档  — 更多
相关经验  — 更多
相关讨论  — 更多