Logstash 是 Elastic 公司开发的开源数据收集和处理引擎

参考资料

1. Composer 是 PHP 的依赖管理工具
2. FAST OS DOCKER 是一个轻量化的 Docker 管理工具
3. ERPNext 14 是一款开源的企业资源规划（ERP）系统
4. XWiki 是一个开源的、基于 Java 的 Wiki 平台
5. SimpleDocker 是一个轻量级 Docker 管理工具
6. IBM Semeru Runtimes 是基于 OpenJDK 的开源 Java 运行时环境（JRE）和开发工具包（JDK）。
7. Drupal 是一个开源的内容管理系统 (CMS)，用于构建网站
8. SapMachine 是 SAP 官方维护的 OpenJDK 发行版

Logstash 简介

Logstash 是 Elastic 公司开发的开源数据收集和处理引擎，主要用于日志、事件和其他数据的采集、转换和传输。它是 Elastic Stack（ELK Stack）的核心组件之一，通常与 Elasticsearch 和 Kibana 配合使用。

特点

1. 数据采集：支持多种数据源（文件、数据库、消息队列等）。

2. 数据处理：通过过滤器（Filter）对数据进行解析、转换和丰富。

3. 数据输出：支持多种输出目标（Elasticsearch、文件、数据库等）。

4. 插件化架构：丰富的输入、过滤器和输出插件。

5. 实时处理：支持实时数据流处理。

最新更新内容及时间

• 最新版本：8.12.0（截至2024年3月）

• 更新内容：

• 性能优化和 Bug 修复。

• 新插件支持。

• 安全性增强。

镜像下载地址

• Docker Hub：https://hub.docker.com/_/logstash

• Elastic 官方镜像：https://www.docker.elastic.co

官网地址

• https://www.elastic.co/logstash

文档地址

• https://www.elastic.co/guide/en/logstash/current/index.html

Docker 安装示例

docker run -d --name logstash \
  -v /path/to/logstash.conf:/usr/share/logstash/pipeline/logstash.conf \
  docker.elastic.co/logstash/logstash:8.12.0

YAML 设置教程

1. 创建 logstash.yml 配置文件：

http.host: "0.0.0.0"
path.config: /usr/share/logstash/pipeline

2. 挂载到容器：

docker run -d --name logstash \
  -v /path/to/logstash.yml:/usr/share/logstash/config/logstash.yml \
  docker.elastic.co/logstash/logstash:8.12.0

常用错误问题

1. 插件未找到：

• 确保插件已安装：bin/logstash-plugin install plugin_name。

2. 配置文件语法错误：

• 使用 logstash --config.test_and_exit -f config_file.conf 测试配置。

3. 内存不足：

• 调整 JVM 堆大小：修改 jvm.options 文件。

4. 输入/输出连接失败：

• 检查网络和端口配置。

5. 性能问题：

• 增加 pipeline.workers 或调整批处理大小。