返回
艺术设计
如何设计日志采集存储分析的架构
228查看  1回答
悬赏20积分
  • 元圆教育说
    已解决
    2024-01-18 02:28
    如何设计日志采集存储分析的架构,麻烦给回复问题补充:
    如何设计日志采集存储分析的架构,麻烦给回复
    解决时间 2024-11-25 23:33
  • 0点赞
    0反对
    0举报
    0收藏
    0分享
    海报
    分享到:
  • 最佳答案
  • 2024-01-18 02:28
  • Flume最早是Cloudera提供的日志收集系统,目前是Apache下的一个孵化项目,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力Flume提供了从console(控制台)、RPC(Thrift-RPC)、text(文件)、tail(UNIX tail)、syslog(syslog日志系统,支持TCP和UDP等2种模式),exec(命令执行)等数据源上收集数据的能力。

    Flume采用了多Master的方式。为了保证配置数据的一致性,Flume引入了ZooKeeper,用于保存配置数据,ZooKeeper本身可保证配置数据的一致性和高可用,另外,在配置数据发生变化时,ZooKeeper可以通知Flume Master节点。Flume Master间使用gossip协议同步数据。 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。设计目标: (1) 可靠性(2) 可扩展性3) 可管理性(4) 功能可扩展性

同类教育问答