elasticsearch_kibana_logstash_kafka_ ELK 环境安装
先说一下环境变量 需要Java环境
2.1安装jdk 这边elk 都是依赖 jdk进行运行的 所以更新到最新的jdk
在 http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html
下载对应的 linux rpm
对应的下载安装 可以参考
ps 国外的站点太慢 用csdn 下载 然后 倒入
mac pare 虚拟机的工项目录在 /media/psf
修改环境变量 用户 ～/.bash_profile 所有用户 vim /etc/profile
export JAVA_HOME=/usr/local/java/jdk1.8.0_151 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH
这样也能用
yum -y install java-1.8.0 l浪费了我那么多时间
当时吧环境变量搞错了，如何重新把环境变量更新
修复$PATH 直接执行一遍 就可以了 把原来的。全部重新赋值一次 export PATH="/usr/local/java/jdk1.8.0_151/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/root/bin:/usr/local/java/jdk1.8.0_151/bin:/root/bin:/usr/local/java/jdk1.8.0_151/bin:/root/bin:/root/bin:/usr/local/logstash-6.1.1/bin"
2.2安装ELK 参考 http://blog.51cto.com/467754239/1700828
elk涉及的安装都比较简单 免安装 下载基本可用 主要的官方文档和下载地址在
https://www.elastic.co/downloads
这次安装的是linux对应的版本，所以下载的都是tar.gz 对应最新版本的就好 是在忍受不住网速 开了迅雷的会员
对应的软件准备如下
elasticsearch-6.1.1.tar.gz kibana-6.1.1-linux-x86_64.tar.gz logstash-6.1.1.tar.gz
2.2.1 安装logstash
tar zxf logstash-6.1.1.tar.gz -C /usr/local/
echo “export PATH=\$PATH:/usr/local/logstash-6.1.1/bin” > /etc/profile.d/logstash.sh
具体的例子参考中写的很详细 详细到 不知道怎么增加信息 还是用原来的ok！
2.2.2 安装 Elasticsearch
tar zxf elasticsearch-6.1.1.tar.gz -C /usr/local/ # vim /usr/local/elasticsearch-6.1.1/config/elasticsearch.yml discovery.zen.ping.multicast.enabled: false #关闭广播，如果局域网有机器开9300 端口，服务会启动不了 network.host: 192.168.1.104 #指定主机地址，其实是可选的，但是最好指定因为后面跟kibana集成的时候会报http连接出错（直观体现好像是监听了:::9200 而不是0.0.0.0:9200） http.cors.allow-origin: "/.*/" http.cors.enabled: true #这2项都是解决跟kibana集成的问题，错误体现是 你的 elasticsearch 版本过低，其实不是 /usr/local/elasticsearch-1.7.2/bin/elasticsearch #日志会输出到stdout # /usr/local/elasticsearch-1.7.2/bin/elasticsearch -d #表示以daemon的方式启动 # nohup /usr/local/elasticsearch-1.7.2/bin/elasticsearch > /var/log/logstash.log 2>&1 &
注意现在不能用root进行启动那么新建一个用户然后把elastic 权限更新
useradd elk_test
新的版本的logstash elastic 里面的参数跟版可能会有差异，看教程的时候注意！
input {
redis {
host => '127.0.0.1'
data_type => 'list'
port => "6379"
key => 'logstash:redis'
}
}
output {
elasticsearch {
hosts => "127.0.0.1"
codec => "json"
}
}
外网反问 kinaba
上两篇说了elk的accesslog应用这里补上elk的环境安装
先说kafka的安装
centos 7 kafka
参考教程：
http://blog.csdn.net/wisgood/article/details/51497329
http://www.linuxidc.com/Linux/2017-01/139732.htm
环境模拟安装kafka
从官网下载kafka
源码
http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/1.0.0/kafka-1.0.0-src.tgz
二进制
http://mirrors.hust.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz
不要下载源码的 下载二进制的
解压放到/usr/local目录下面
启动zookeeper
daemon 后台静默模式
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
启动kafka服务
./kafka-server-start.sh -daemon ../config/server.properties &
创建副本
./kafka-topics.sh –create –zookeeper localhost:2181 –replication-factor 1 –partitions 1 –topic test1234
查看副本
./kafka-topics.sh –list –zookeeper localhost:2181
产生消息
./kafka-console-producer.sh –broker-list localhost:9092 –topic test1234
输出消息
./kafka-console-consumer.sh –zookeeper localhost:2181 –topic accesslog –from-beginning
下面在ubuntu下面安装 虚拟机cent 家里nas ubuntu 也是没谁了
下面我们在ubuntu上面进行对应的kafka的安装
zai ubuntu 上面需要单独安装zookepper
其他都一样
参考
http://blog.51cto.com/467754239/1700828
