`

LogStash+ElasticSearch性能问题?

 
阅读更多

由于论坛上发不了帖子,只能在博客中提问了,还请见谅。

 

目前正在用ELK来做日志收集系统,

 

从其他地方了解到logstash可以处理每秒几万条的日志。

 

但是我的环境中,每台logstash服务器每秒只能处理将近2000条日志,如果加上filter的话,更少。

 

日志量多的时候大部分都积压在redis中,logstash侧也没用任何日志可以看。

 

cpu和mem都很充足,io也没用多少,不知道问题出在哪?有没有大神帮忙分析分析?

 

部署图如下:用了redis做缓存,不知道这个有什么用?感觉反而影响了性能。

分享到:
评论

相关推荐

    ELK7.x通用教程(Elasticsearch集群+Logstash+Kibana+Beats)

    目前采用ELK7.x:即ELK(elasticsearch7.3+logstash7.3+kibana7.3) 官网最新版本搭建集群和展示elk是什么意思中文? ELK Stack 是Elasticsearch、Logstash、Kiban三个开源软件的组合。在实时数据检索和分析场合,...

    IELK-rpm安装包,filebeat、logstash、elasticsearch、kibana四部分rpm安装包

    IT运维监控,ELK日志审计...数据存储和分析—elasticsearch-8.1.2-x86_64.rpm 数据可视化二次处理—kibana-8.1.2-x86_64.rpm ELK优势: 1 处理方式灵活 2 配置相对简单 3 检索性能高效 4 集群线性扩展 5 前端操作绚丽

    VMWareAdministrator:使用 Logstash-ElasticSearch-Kibana 对 VM 和 VHost 进行大规模性能统计收集

    执行系统数据(指标、日志)收集以识别系统元素(作业、主机、来宾等)上的工作负载,并将它们存储在 noSQL 数据库(例如 ElasticSearch)中。 数据速率可达每分钟10万条。 监控主机并收集以下指标(每个来宾级 CPU...

    logstash oss 7.10.2 arm64版本

    文件名: logstash-oss-7.10.2-aarch64.rpm 这是 logstash oss 7.10.2 版本的 arm64 架构 rpm 安装文件。logstash 是一款开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到您...

    springboot项目查询es中的日志内容

    自己系统配置了切面将所需操作数据存入elasticSearch后,使用java进行查询操作es,从而查看筛选日志。前端采用的是layUi,进行简单的筛选和展示

    Logstash日志管理系统.rar

    ELKB(Elasticsearch、Logstash、Kibana、Beat的组合)是一套开源的分布式日志管理方案。凭借其闭环的日志处理流程、高效的检索性能、线性的扩展能力、较低的运维成本等特点,ELKB在最近几年迅速崛起,成为实时日志...

    Elasticsearch调优实践.pdf

    而完整的Elastic Stack体系(Elasticsearch、Logstash、Kibana、Beats),更是提供了数据采集、清洗、存储、 可视化的整套解决方案。 本文基于ES 5.6.4,从性能和稳定性两方面,从linux参数调优、ES节点配置和ES使用...

    ElasticSearch5.2全网最全技术视频

    (1)最全面的Elasticsearch运维、管理、调优、故障处理的知识体系:企业级监控体系的搭建,企业级集群部署,集群日常管理策略,集群版本升级方案,集群基准压测方案,集群数据的备份和恢复,系统核心配置参数,性能...

    java中ElasticSearch的ppt讲解分享44页

    Elasticsearch 是 Elastic 产品栈的核心,Elastic 产品栈是个开源工具集合,包括ElasticSearch、Logstash和Kibana,Beats等,用于数据接收、存储、分析、可视化。 3可用于做ppt和ElasticSearch初学者

    logstash-mesos:用于Logstash的Mesos框架

    :check_box_with_check: 共享性能测试并与开发-设置mesos-elasticsearch , mesos-kibana :check_box_with_check: 外部LogStash配置(配置文件从主服务器传播到从服务器) :check_box_with_check: 支持输出到...

    一站式掌握elastic search基础与实战视频资源-百度云链接

    13-1 -Logstash实战建议.avi 13-2 -实战之apacheLogs(上).avi 13-3 实战之apacheLogs(下).avi 13-4 实战之csv.avi 13-5 监控运维建议.avi 14-1 beats简介.avi 14-2 Filebeat_Demo.avi 14-3 Filebeat 简介及流程...

    19道ElasticSearch面试题(很全)

    ElasticSearch(简称ES)是一个基于Lucene的分布式搜索和分析引擎,也是Elastic Stack的核心组件。它是一个开源项目,使用Java开发,在Apache许可条款下开放源码发布。 ES具有高扩展性,可以扩展到上百台服务器,...

    Python日志系统Eliot.zip

    类型化的日志消息可记录动作而不只是简单信息,用来跟踪程序的执行过程记录动作可分为进程和线程对单元测试的完美支持性能非常好,使用非堵塞 IO支持 Twisted为 JSON 输出而设计,可用于 Logstash/Elasticsearch....

    ElasticSearch入门(一)单节点初体验

    背景 What:ElasticSearch 是一个分布式、RESTful风格的搜索和数据分析引擎。以下简称ES。 Features: 具有近实时的全文检索能力、极其方便的横向...随着ES生态的不断繁荣,结合ELK(ElasticSearch, Logstash, Kibana

    docker-elk:用于可信自动化 Docker 构建的 ELK 堆栈(Elasticsearch、Logstash、Kibana)Dockerfiles

    我开始使用映像,该映像通过带有嵌入式 Elasticsearch 和 Kibana 的 Logstash 运行 ELK,但在生产中发现性能问题,因此我决定拆分为单独的容器,同时尽可能接近标准或默认安装。 我搜索的其他一些镜像是安装 Java...

    ELK(ElasticSearch,Logstash,Kibana)搭建实时日志分析平台

    经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误。通常,日志被分散的储存不同的设备上。如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很...

    ELK Stack权威指南 第2版

    第一部分“Logstash”介绍Logstash的安装与配置、场景示例、性能与测试、扩展方案、源码解析、插件开发等,第二部分“Elasticsearch”介绍Elasticsearch的架构原理、数据接口用例、性能优化、测试和扩展方案、映射与...

    ELK Stack深入浅出.pptx

    ELK Stack 是 Elasticsearch、Logstash、Kibana 三个开源软件的组合。在实时数据检索和分析场合,三者通常是配合共用,而且又都先后归于 Elastic.co 公司名下,故有此简称。 ELK Stack 在最近两年迅速崛起,成为...

    ELK Stack权威指南 第2版 ,饶琛琳著

    本书分为三大部分,第壹部分“Logstash”介绍Logstash的安装与配置、场景示例、性能与测试、扩展方案、源码解析、插件开发等,第二部分“Elasticsearch”介绍Elasticsearch的架构原理、数据接口用例、性能优化、测试...

Global site tag (gtag.js) - Google Analytics