2017年02月的内容

4641浏览

运维工程师在前期是一个很苦逼的工作，在这期间可能干着修电脑、掐网线、搬机器的活，显得没地位！时间也很碎片化，各种零碎的琐事围绕着你，很难体现个人价值，渐渐的对行业很迷茫，觉得没什么发展前途。 这些枯燥无味工作的确会使人匮乏，从技术层面讲这些其实都是基...

5325浏览

1，配置http_geoip_module模块。 我们可以配置nginx的模块http_geoip_module进行客户端IP判断国家代码或者城市属性（这里只介绍些国家代码判断），这个http_geoip_module模块需要geo数据库和读取数据...

9149浏览

我们已经知道，logstash从本地日志文件中读取信息并交给elasticsearch。然而直接把原始未加工的日志交给elasticsearch没有什么意义。logstash还有一个重要的工作就是解析日志。把解析出来的关键字与日志本身共同交给elas...

4461浏览

Redis是一个开源（BSD许可）的内存数据结构存储，可作为数据库，缓存和消息队列。相比Memcached它支持更多的数据结构，如string(字符串)，hash(哈希)，list(链表)，set(集合)，zset(有序集合)，位图，hyperlog...

5005浏览

本博客一直缺少linux正则表达式的内容，今天就补充一下。 一.正则表达式初步介绍 1，什么是正则表达式   正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来...

4396浏览

记录一个shell脚本小实例，线上服务器同步代码到web节点脚本。 #!/bin/bash #author：21yunwei c="$1"; if [ "$c" != "1" ];...

5851浏览

     丰富的过滤器插件的存在是 logstash 威力如此强大的重要因素。名为过滤器，其实提供的不单单是过滤的功能。后边重点学习介绍几个插件，它们扩展了进入过滤器的原始数据，进行复杂的逻辑处理，甚至可以无中生有的添加新的 logstash 事件到...

13567浏览

编码插件(Codec) Codec 是 logstash 从 1.3.0 版开始新引入的概念(Codec 来自 Coder/decoder 两个单词的首字母缩写)。 在此之前，logstash 只支持纯文本形式输入，然后以过滤器处理它。但现在，我们可...

8671浏览

读取文件(File) 分析网站访问日志应该是一个运维工程师最常见的工作了。所以我们先学习一下怎么用 logstash 来处理日志文件。 Logstash 使用一个名叫 FileWatch 的 Ruby Gem 库来监听文件变化。这个库支持 glob ...

14428浏览

(1)安装elasticsearch-head插件 修改es参数 # 增加新的参数，这样head插件可以访问es http.cors.enabled: true http.cors.allow-origin: "*" 安装g...

8134浏览

从 logstash 1.5.0 版本开始，logstash 将所有的插件都独立拆分成 gem 包。这样，每个插件都可以独立更新，不用等待 logstash 自身做整体更新的时候才能使用了。 为了达到这个目标，logstash 配置了专门的 plug...

12455浏览

  Logstash 社区通常习惯用 shipper，broker 和 indexer 来描述数据流中不同进程各自的角色。如下图： 不过我见过很多运用场景里都没有用 logstash 作为 shipper，或者说没有用 elasticse...