前言
EFK可能都不熟悉,实际上EFK是大名鼎鼎的日志系统ELK的一个变种
在没有分布式日志的时候,每次出问题了需要查询日志的时候,需要登录到Linux服务器,使用命令cat -n xxxx|grep xxxx 搜索出日志在哪一行,然后cat -n xxx|tail -n +n行|head -n 显示多少行,这样不仅效率低下,而且对于程序异常也不方便查询,日志少还好,一旦整合出来的日志达到几个G或者几十G的时候,仅仅是搜索都会搜索很长时间了,当然如果知道是哪天什么时候发生的问题当然也方便查询,但是实际上很多时候有问题的时候,是不知道到底什么时候出的问题,所以就必须要在聚合日志中去搜索(一般日志是按照天来分文件的,聚合日志就是把很多天的日志合并在一起,这样方便查询),而搭建EFK日志分析系统的目的就是将日志聚合起来,达到快速查看快速分析的目的,使用EFK不仅可以快速的聚合出每天的日志,还能将不同项目的日志聚合起来,对于微服务和分布式架构来说,查询日志尤为方便,而且因为日志保存在Elasticsearch中,所以查询速度非常之快
认识EFK
EFK不是一个软件,而是一套解决方案,并且都是开源软件,之间互相配合使用,完美衔接,高效的满足了很多场合的应用,是目前主流的一种日志系统。EFK是三个开源软件的缩写,分别表示:Elasticsearch , FileBeat, Kibana , 其中ELasticsearch负责日志保存和搜索,FileBeat负责收集日志,Kibana 负责界面,当然EFK和大名鼎鼎的ELK只有一个区别,那就是EFK把ELK的Logstash替换成了FileBeat,因为Filebeat相对于Logstash来说有2个好处:
1、侵入低,无需修改程序目前任何代码和配置
2、相对于Logstash来说性能高,Logstash对于IO占用很大
当然FileBeat也并不是完全好过Logstash,毕竟Logstash对于日志的格式化这些相对FileBeat好很多,FileBeat只是将日志从日志文件中读取出来,当然如果你日志本身是有一定格式的,FileBeat也可以格式化,但是相对于Logstash来说,还是差一点
Elasticsearch
Elasticsearch是个开源分布式搜索引擎,提供搜集、分析、存储数据三大功能。它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。
FileBeat
Filebeat隶属于Beats。目前Beats包含六种工具:
Packetbeat(搜集网络流量数据)
Metricbeat(搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据)
Filebeat(搜集文件数据)
Winlogbeat(搜集 Windows 事件日志数据)
Auditbeat( 轻量型审计日志采集器)
Heartbeat(轻量级服务器健康采集器)
Kibana
Kibana可以为 Logstash 、Beats和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助汇总、分析和搜索重要数据日志。
EFK架构图
安装Java JDK
Elasticsearch需要运行在Java 8 及以上,所以需要先安装Java8,下载JavaJDK
1 | wget http://download.oracle.com/otn-pub/java/jdk/8u181-b13/96a7b8442fe848ef90c96a2fad6ed6d1/jdk-8u181-linux-x64.tar.gz?AuthParam=1536892035_945cb24c750d0971b8c5b1925cc723a9 |
当然如果要安装其他Java版本,可以将wget后面的URL替换为其他版本的URL,只要版本不低于Java8就行,下载完成后,需要查看下载的文件是后缀是tar.gz(只针对tar.gz,如果是RPM或者其他格式的,请自行安装),如果文件后缀tar.gz还跟了一串代码,则重命名文件
1 | mv jdk-8u181-linux-x64.tar.gz\?AuthParam\=1536892035_945cb24c750d0971b8c5b1925cc723a9 jdk-8u181-linux-x64.tar.gz |
解压
1 | tar -zxvf jdk-8u181-linux-x64.tar.gz |
编辑环境变量
1 | vi /etc/profile |
在文件末尾加上
1 | JAVA_HOME=/usr/local/jdk1.8.0_181/ |
其中/usr/local/jdk1.8.0_181/替换成自己Java jdk解压出来的主目录,wq保存退出,使配置生效
1 | source /etc/profile |
查看是否安装成功
1 | java -version |
如果正常输出Java版本则安装成功
安装Elasticsearch
下载Elasticsearch,本文以Elasticsearch6.2.4为例,当前Elasticsearch最新版本为Elasticsearch6.4.0,注意Elasticsearch、Kibana、FileBeat一定要使用相同的版本
1 | wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.4.tar.gz |
解压
1 | tar -zxvf elasticsearch-6.2.4.tar.gz |
进入Elasticsearch主目录,修改配置
1 | vi config/elasticsearch.yml |
添加以下配置,或者将对应的配置注释取消修改
1 | network.host: 0.0.0.0 |
由于Elasticsearch不能使用root用户打开,所以需要专门创建一个用户来启动Elasticsearch
1 | $ adduser elastic |
创建的用户名为elastic,其中/usr/local/elasticsearch-6.2.4为解压出来的Elasticsearch主目录
启动Elasticsearch
1 | ./bin/elasticsearch |
如果遇到错误:max file descriptors [65535] for elasticsearch process is too low, increase to at least [65536]
1 | vi /etc/security/limits.conf |
如果有 * soft nofile 65535 * hard nofile 65535 则将65535修改为65536,如果没有则在后面添加,注意此处的65535对应descriptors [65535]中的65535,修改后的值65536对应increase to at least [65536],所以当提示不一致时,需要根据具体的错误提示具体修改
如果遇到错误: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
1 | vi /etc/sysctl.conf |
添加配置
1 | vm.max_map_count=262144 |
并执行命令
1 | sysctl -p |
以上2个修改需要在root用户权限修改,如果是使用xshell开两个窗口的话修改完成之后一定要断开重新登录一下,启动成功用执行命令
1 | curl 127.0.0.1:9200 |
会得到类似以下json
1 | { |
安装Kibana
下载Kibana
1 | wget https://artifacts.elastic.co/downloads/kibana/kibana-6.2.4-linux-x86_64.tar.gz |
解压
1 | tar -zxvf kibana-6.2.4-linux-x86_64.tar.gz |
进入主目录,修改配置
1 | vi config/kibana.yml |
添加以下配置或者取消注释并修改
1 | elasticsearch.url: "http://localhost:9200" |
其中elasticsearch.url为Elasticsearch的地址,server.host默认是localhost,如果只是本地访问可以默认localhost,如果需要外网访问,可以设置为0.0.0.0
启动Kibana
1 | ./bin/kibana |
安装FileBeat
下载FileBeat
1 | wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.2.4-linux-x86_64.tar.gz |
解压
1 | tar -zxvf filebeat-6.2.4-linux-x86_64.tar.gz |
进入主目录,修改配置
1 | vi filebeat.yml |
找到类似以下的配置并修改
1 |
|
配置一定要注意格式,是以2个空格为子级,里面的配置都在配置文件中,列出来的只是要修改的部分,enabled默认为false,需要改成true才会收集日志。其中/var/xxx/*.log修改为自己的日志路径,注意-后面有一个空格,
如果多个路径则添加一行,一定要注意新行前面的4个空格,multiline开头的几个配置取消注释就行了,是为了兼容多行日志的情况,setup.kibana中的host取消注释,根据实际情况配置地址,output.elasticsearch中的host也一样,根据实际情况配置
启动FileBeat
1 | ./filebeat -c /usr/local/filebeat/filebeat.yml |
/usr/local/filebeat/filebeat.yml为filebeat 的配置文件地址,需要根据实际情况修改,启动后FileBeat就会自动收集日志了
配置Kibana
打开浏览器进入http://127.0.0.1:5601,会出现如下页面:
点击Management进入配置
点击进入Index Patterns
如图所示,FileBeat默认创建的Elasticsearch索引格式为filebeat-版本号-日期,所以需要在第一个红框的输入框中输入
1 | filebeat-6.2.4-* |
能匹配到Elasticsearch的索引,第二个红框出会显示出Elasticsearch中已有的索引,点击Next step进入下一步
点击Create index pattern完成配置,配置完成后点击 Discover就能查看日志了,还能搜索,如下图
至此EFK就搭建完毕了