Logstash 是 Elastic 公司开发的开源数据收集和处理引擎

参考资料

1. 1Panel 是一个现代化的开源 Linux 服务器运维管理面板
2. Gradle 是一个基于 Apache Ant 和 Maven 概念的自动化构建工具
3. docker安装详细说明以及案例
4. Vault 是由 HashiCorp 开发的开源工具
5. Mono 是一个开源的 .NET 框架实现
6. 青龙面板（QingLong）是一款开源的、基于Web的定时任务管理平台
7. Elixir 是一种基于 Erlang 虚拟机的函数式编程语言
8. RethinkDB 是一个开源的分布式 NoSQL 数据库，专为实时应用设计

Logstash 简介

Logstash 是 Elastic 公司开发的开源数据收集和处理引擎，主要用于日志、事件和其他数据的采集、转换和传输。它是 Elastic Stack（ELK Stack）的核心组件之一，通常与 Elasticsearch 和 Kibana 配合使用。

特点

1. 数据采集：支持多种数据源（文件、数据库、消息队列等）。

2. 数据处理：通过过滤器（Filter）对数据进行解析、转换和丰富。

3. 数据输出：支持多种输出目标（Elasticsearch、文件、数据库等）。

4. 插件化架构：丰富的输入、过滤器和输出插件。

5. 实时处理：支持实时数据流处理。

最新更新内容及时间

• 最新版本：8.12.0（截至2024年3月）

• 更新内容：

• 性能优化和 Bug 修复。

• 新插件支持。

• 安全性增强。

镜像下载地址

• Docker Hub：https://hub.docker.com/_/logstash

• Elastic 官方镜像：https://www.docker.elastic.co

官网地址

• https://www.elastic.co/logstash

文档地址

• https://www.elastic.co/guide/en/logstash/current/index.html

Docker 安装示例

docker run -d --name logstash \
  -v /path/to/logstash.conf:/usr/share/logstash/pipeline/logstash.conf \
  docker.elastic.co/logstash/logstash:8.12.0

YAML 设置教程

1. 创建 logstash.yml 配置文件：

http.host: "0.0.0.0"
path.config: /usr/share/logstash/pipeline

2. 挂载到容器：

docker run -d --name logstash \
  -v /path/to/logstash.yml:/usr/share/logstash/config/logstash.yml \
  docker.elastic.co/logstash/logstash:8.12.0

常用错误问题

1. 插件未找到：

• 确保插件已安装：bin/logstash-plugin install plugin_name。

2. 配置文件语法错误：

• 使用 logstash --config.test_and_exit -f config_file.conf 测试配置。

3. 内存不足：

• 调整 JVM 堆大小：修改 jvm.options 文件。

4. 输入/输出连接失败：

• 检查网络和端口配置。

5. 性能问题：

• 增加 pipeline.workers 或调整批处理大小。