参考资料

  1. MySQL 是一个开源的关系型数据库管理系统
  2. Alpine Linux 是一个轻量级的 Linux 发行版
  3. Notary 是一个开源项目，用于对数字内容进行签名和验证，确保内容的完整性和来源可信。
  4. docker容器(Container)与镜像的关系？
  5. Haskell是一种纯函数式编程语言
  6. NAS中为何使用Docker？
  7. Vault 是由 HashiCorp 开发的开源工具
  8. Traefik 是一个现代化的反向代理和负载均衡工具

Logstash 是 Elastic 公司开发的开源数据收集和处理引擎

Logstash 简介

Logstash 是 Elastic 公司开发的开源数据收集和处理引擎，主要用于日志、事件和其他数据的采集、转换和传输。它是 Elastic Stack（ELK Stack）的核心组件之一，通常与 Elasticsearch 和 Kibana 配合使用。

特点

  1. 数据采集：支持多种数据源（文件、数据库、消息队列等）。

  2. 数据处理：通过过滤器（Filter）对数据进行解析、转换和丰富。

  3. 数据输出：支持多种输出目标（Elasticsearch、文件、数据库等）。

  4. 插件化架构：丰富的输入、过滤器和输出插件。

  5. 实时处理：支持实时数据流处理。

最新更新内容及时间

  • 最新版本：8.12.0（截至2024年3月）

  • 更新内容：

    • 性能优化和 Bug 修复。

    • 新插件支持。

    • 安全性增强。

镜像下载地址

官网地址

文档地址

Docker 安装示例

docker run -d --name logstash \
  -v /path/to/logstash.conf:/usr/share/logstash/pipeline/logstash.conf \
  docker.elastic.co/logstash/logstash:8.12.0

YAML 设置教程

  1. 创建 logstash.yml 配置文件：

http.host: "0.0.0.0"
path.config: /usr/share/logstash/pipeline

  1. 挂载到容器：

docker run -d --name logstash \
  -v /path/to/logstash.yml:/usr/share/logstash/config/logstash.yml \
  docker.elastic.co/logstash/logstash:8.12.0

常用错误问题

  1. 插件未找到：

    • 确保插件已安装：bin/logstash-plugin install plugin_name。

  2. 配置文件语法错误：

    • 使用 logstash --config.test_and_exit -f config_file.conf 测试配置。

  3. 内存不足：

    • 调整 JVM 堆大小：修改 jvm.options 文件。

  4. 输入/输出连接失败：

    • 检查网络和端口配置。

  5. 性能问题：

    • 增加 pipeline.workers 或调整批处理大小。

TAG：插件地址文件数据库过滤器丰富内容镜像公司开源