Logstash 是 Elastic 公司开发的开源数据收集和处理引擎

Logstash 简介

Logstash 是 Elastic 公司开发的开源数据收集和处理引擎，主要用于日志、事件和其他数据的采集、转换和传输。它是 Elastic Stack（ELK Stack）的核心组件之一，通常与 Elasticsearch 和 Kibana 配合使用。

特点

1. 数据采集：支持多种数据源（文件、数据库、消息队列等）。

2. 数据处理：通过过滤器（Filter）对数据进行解析、转换和丰富。

3. 数据输出：支持多种输出目标（Elasticsearch、文件、数据库等）。

4. 插件化架构：丰富的输入、过滤器和输出插件。

5. 实时处理：支持实时数据流处理。

最新更新内容及时间

• 最新版本：8.12.0（截至2024年3月）

• 更新内容：

• 性能优化和 Bug 修复。

• 新插件支持。

• 安全性增强。

镜像下载地址

• Docker Hub：https://hub.docker.com/_/logstash

• Elastic 官方镜像：https://www.docker.elastic.co

官网地址

• https://www.elastic.co/logstash

文档地址

• https://www.elastic.co/guide/en/logstash/current/index.html

Docker 安装示例

docker run -d --name logstash \
  -v /path/to/logstash.conf:/usr/share/logstash/pipeline/logstash.conf \
  docker.elastic.co/logstash/logstash:8.12.0

YAML 设置教程

1. 创建 logstash.yml 配置文件：

http.host: "0.0.0.0"
path.config: /usr/share/logstash/pipeline

2. 挂载到容器：

docker run -d --name logstash \
  -v /path/to/logstash.yml:/usr/share/logstash/config/logstash.yml \
  docker.elastic.co/logstash/logstash:8.12.0

常用错误问题

1. 插件未找到：

• 确保插件已安装：bin/logstash-plugin install plugin_name。

2. 配置文件语法错误：

• 使用 logstash --config.test_and_exit -f config_file.conf 测试配置。

3. 内存不足：

• 调整 JVM 堆大小：修改 jvm.options 文件。

4. 输入/输出连接失败：

• 检查网络和端口配置。

5. 性能问题：

• 增加 pipeline.workers 或调整批处理大小。