【linux】安装supervisord 配置logstash启动

Continue Read..
yum install python-setuptools
easy_install supervisor

/usr/bin/supervisord -c /etc/supervisord.conf
/usr/bin/supervisorctl stop all


Error: Another program is already listening on a port that one of our HTTP servers is configured to use. Shut this program down first before starting
解决方法：

find / -name supervisor.sock
unlink /name/supervisor.sock

[program:elkpro_1]
environment=LS_HEAP_SIZE=5000m
directory=/opt/logstash
command=/opt/logstash/bin/logstash -f /etc/logstash/pro1.conf --pluginpath /opt/logstash/plugins/ -w 10 -l /var/log/logstash/pro1.log
[program:elkpro_2]
environment=LS_HEAP_SIZE=5000m
directory=/opt/logstash
command=/opt/logstash/bin/logstash -f /etc/logstash/pro2.conf --pluginpath /opt/logstash/plugins/ -w 10 -l /var/log/logstash/pro2.log



[program:output_tcp_jq]
environment=LS_HEAP_SIZE=5000m
directory=/cuzn/logstash-2.3.4
command=/cuzn/logstash-2.3.4/bin/logstash -f /cuzn/logstash-2.3.4/vconf/output_tcp_jq.conf --pluginpath /cuzn/logstash-2.3.4 -w 10 -l /cuzn/logstash-2.3.4/log/output_tcp_jq.log

测试  ps aux | grep output_tcp_jq

声明：此文系舞林cuzn（www.wulinlw.org）原创稿件，转载请保留版权

【logstash 】centos6.4下安装logstash

Continue Read..

公司最近要做大数据,需要用logstash 做中间件

安装 logstash   需要 java jdk 支持 

先安装java jds

为了确保成功运行Logstash建议大家使用较近期的jre版本。 可以获取开源版本的jre在：http://openjdk.java.net 或者你可以在官网下载Oracle jdk版本：http://www.oracle.com/technetwork/java/index.html 一旦jre已经成功在你的系统中安装完成，我们就可以继续了

 

下载解压之后 

ln -s /cuzn/jdk1.8.0_60/ /usr/jdk

配置环境变量

vim /etc/profile
添加如下内容：
JAVA_HOME=/usr/jdk
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin

export PATH JAVA_HOME CLASSPATH


重启机器或执行命令 ：source /etc/profile   sudo shutdown -r now


查看安装情况

java -version

java version "1.8.0_60"

Java(TM) SE Runtime Environment (build 1.8.0_60-b27)

Java HotSpot(TM) Client VM (build 25.60-b23, mixed mode)



java安装好之后 就安装logstash 

在 https://download.elasticsearch.org 下载最新的  

wget https://download.elastic.co/logstash/logstash/logstash-2.3.4.tar.gz

tar zxvf logstash-2.3.4.tar.gz

cd logstash-2.3.4


现在我们来运行一下：

bin/logstash -e 'input { stdin { } } output { stdout {} }'

我们现在可以在命令行下输入一些字符，然后我们将看到logstash的输出内容：

hello world

2013-11-21T01:22:14.405+0000 0.0.0.0 hello world


Ok,还挺有意思的吧... 以上例子我们在运行logstash中，定义了一个叫"stdin"的input还有一个"stdout"的output，无论我们输入什么字符，Logstash都会按照某种格式来返回我们输入的字符。这里注意我们在命令行中使用了-e参数，该参数允许Logstash直接通过命令行接受设置。这点尤其快速的帮助我们反复的测试配置是否正确而不用写配置文件。

让我们再试个更有意思的例子。首先我们在命令行下使用CTRL-C命令退出之前运行的Logstash。现在我们重新运行Logstash使用下面的命令：

bin/logstash -e 'input { stdin { } } output { stdout { codec => rubydebug } }'

我们再输入一些字符，这次我们输入"goodnight moon"：

goodnight moon

{

  "message" => "goodnight moon",

  "@timestamp" => "2013-11-20T23:48:05.335Z",

  "@version" => "1",

  "host" => "my-laptop"

}

以上示例通过重新设置了叫"stdout"的output(添加了"codec"参数)，我们就可以改变Logstash的输出表现。类似的我们可以通过在你的配置文件中添加或者修改inputs、outputs、filters，就可以使随意的格式化日志数据成为可能，从而订制更合理的存储格式为查询提供便利

参考网址   

http://www.2cto.com/os/201411/352015.html

http://www.cnblogs.com/xing901022/p/5256227.html

https://www.elastic.co/guide/en/logstash/current/index.html

因为要写中间件  所以要写脚本 脚本用 ruby开发(例子:logstash-filter-example-1.0.0.zip)

以后在更新 


声明：此文系舞林cuzn（www.wulinlw.org）原创稿件，转载请保留版权