参考资料

  1. Mongo-Express 是一个基于 Node.js 和 Express 的轻量级 Web 界面
  2. HAProxy 是一个高性能的 TCP/HTTP 负载均衡器和代理服务器
  3. PlayEdu是一款开源的企业在线培训系统
  4. DweebUI是一个基于Stable Diffusion WebUI的轻量级分支
  5. Bonita 是一个开源业务流程管理(BPM)和工作流自动化平台
  6. Adminer(原phpMinAdmin)是一个轻量级、功能完整的数据库管理工具
  7. docker安装包详细说明以及案例
  8. SurveyKing 是一款开源在线问卷调查系统

Logstash 是 Elastic 公司开发的开源数据收集和处理引擎

Logstash 简介

Logstash 是 Elastic 公司开发的开源数据收集和处理引擎,主要用于日志、事件和其他数据的采集、转换和传输。它是 Elastic Stack(ELK Stack)的核心组件之一,通常与 Elasticsearch 和 Kibana 配合使用。

特点

  1. 数据采集:支持多种数据源(文件、数据库、消息队列等)。

  2. 数据处理:通过过滤器(Filter)对数据进行解析、转换和丰富。

  3. 数据输出:支持多种输出目标(Elasticsearch、文件、数据库等)。

  4. 插件化架构:丰富的输入、过滤器和输出插件。

  5. 实时处理:支持实时数据流处理。

最新更新内容及时间

  • 最新版本:8.12.0(截至2024年3月)

  • 更新内容

    • 性能优化和 Bug 修复。

    • 新插件支持。

    • 安全性增强。

镜像下载地址

官网地址

文档地址

Docker 安装示例

docker run -d --name logstash \
  -v /path/to/logstash.conf:/usr/share/logstash/pipeline/logstash.conf \
  docker.elastic.co/logstash/logstash:8.12.0

YAML 设置教程

  1. 创建 logstash.yml 配置文件:

http.host: "0.0.0.0"
path.config: /usr/share/logstash/pipeline
  1. 挂载到容器:

docker run -d --name logstash \
  -v /path/to/logstash.yml:/usr/share/logstash/config/logstash.yml \
  docker.elastic.co/logstash/logstash:8.12.0

常用错误问题

  1. 插件未找到

    • 确保插件已安装:bin/logstash-plugin install plugin_name

  2. 配置文件语法错误

    • 使用 logstash --config.test_and_exit -f config_file.conf 测试配置。

  3. 内存不足

    • 调整 JVM 堆大小:修改 jvm.options 文件。

  4. 输入/输出连接失败

    • 检查网络和端口配置。

  5. 性能问题

    • 增加 pipeline.workers 或调整批处理大小。