blog.kablamo.org

chenlinux.com

【翻译】kibana 的聚合执行次序

http://chenlinux.com/2015/02/25/kibana-aggregation-execution-order-and-you

原文地址 http:/ www.elasticsearch.org/blog/kibana-aggregation-execution-order-and-you/. 可能现在你已经发现了 Kibana 4 的 Visualize 界面上那些狡猾的小箭头，然后会问 你们在那干嘛呢 有啥用啊 嗯，这些按钮是用来控制聚合执行次序的。 这个就定义了 Elasticsearch 如何分析你的数据，以及 Kibana 如何展示结果。 什么叫 最活跃的用户 让我们多加几个参数 一年时间，按照每周，计算前 5 名用户。 这个截屏里，我们先运行时间轴柱状图(date histogram)，然后再问前 5 名用户。 这就会给一年的每个星期创建一个桶(bucket，译者注 ES 的 聚合 API 响应内容就是以 bucket 存在的)。 在每个星期里，我们找到前 5 名用户，所以在这种情况下，每周的前 5 名用户，可能都是不一样的，最后在图例里，你就看到超过 5 个用户了。 现在，我们点击向上箭头，把 terms 聚合移到 date histogram 上面来。 Elastic 官方压测工具 rally 试用.

chenlinux.com

spark streaming 和 spark sql 结合示例

http://chenlinux.com/2015/02/13/spark-streaming-sql

Spark streaming 和 spark sql 结合示例. 之前在博客上演示过如果在 spark 里读取 elasticsearch 中的数据。 自然往下一步想，是不是可以把一些原先需要定期请求 elasticsearch 的监控内容挪到 spark 里完成 这次就是探讨一下 spark streaming 环境上如何快速统计各维度的数据。 Spark 是用 scala 写的，scala 的打包工具叫 sbt。 Sudo port install sbt. Mkdir -p ./logstash/src/main/scala/. 注意，因为 spark 只能用 pull 方式获取数据，所以 logstash/output/tcp 必须以. Output { tcp { codec = json lines mode = 'server' port = 8888 } }. Orgapache.spark.streaming.StreamingContext. Scalautil.parsing.json.JSON. 进阶 数据映射和 SQL 处理. 来转换成 spark SQL 支持的表类型。

chenlinux.com

spark streaming 接收 kafka 数据示例

http://chenlinux.com/2015/03/14/spark-streaming-kafka

Spark streaming 接收 kafka 数据示例. 上个月曾经试过了用 spark streaming 读取 logstash 启动的 TCP Server 的数据。 不过如果你有多台 logstash 的时候，这种方式就比较难办了 即使你给 logstash 集群申请一个 VIP，也很难确定说转发完全符合。 所以一般来说，更多的选择是采用 kafka 等队列方式由 spark streaming 去作为订阅者获取数据。 Cd kafka 2.10-0.8.2.0/bin/ ./zookeeper-server-start.sh ./config/zookeeper.properties & ./kafka-server-start.sh - daemon ./config/server.properties. 保持跟之前示例的连贯性，这里继续用 logstash 发送数据到 kafka。 首先创建一个 kafka 的 topic. Orgapache.spark.streaming.StreamingContext. 第二个，之前示例里用了 scala 核心自带的 JSON 模块。

chenlinux.com

【翻译】kibana 4 正式就位

http://chenlinux.com/2015/02/25/kibana-4-literally

翻译 kibana 4 正式就位. 原文地址 http:/ www.elasticsearch.org/blog/kibana-4-literally/. 现在，我们可以分享这个开心的消息给大家了 Kibana 4.0.0 GA 啦 截图和主要信息见下。 从 Kibana 4 下载. 阅读 Kibana 4 文档. 小贴士: 如果你还没准备好，你需要先升级你的集群到 Elasticsearch 1.4.4. 小贴士 2: 如果你是从 Kibana4 RC1 升级上来，你需要迁移一下你的配置。 为什么我每天半夜 2 点要被喊起来 代码什么时候推送到生产环境了 它是不是破坏什么了 嗯，我们解决的就是这些。 我们从 Kibana 3 里学到的东西，都应用到了 Kibana 4 里。 为什么满足于在地图上画 1000 个点，而实际上我们可以有一亿个点 为什么满足于一个图上处理一个字段 或者一个面板上一个图 为什么一个仪表板上只能一个索引 让我们生成 5 个场景，跨越 2 个字段对比数据，然后从 3 个索引里读取这些数据，放到一个仪表板里。 同样，我会写到 wiki 里，把数据导出成 CSV 然后发邮件给你。

chenlinux.com

spark streaming 的 transform 操作示例

http://chenlinux.com/2015/02/14/spark-streaming-transform

Spark streaming 的 transform 操作示例. 前两篇，一篇说在 spark 里用 SQL 方便，一篇说 updatestateByKey 可以保留状态做推算。 那么怎么综合起来呢 目前看到的 spark streaming 和 spark SQL 的示例全都是在 output 阶段的. 实际在 output 之前，也是可以对 DStream 里的 RDD 做复杂的转换操作的，这就是. 方法，可以做到 SQL 请求的结果依然是 DStream 数据，这样就可以使用. Orgapache.spark.sql.SQLContext. Orgapache.spark.streaming.StreamingContext. Trend($avg, $count, $avgTrend, $countTrend)". 我不懂 Java/Scala，以为是只要是 RDD 对象即可。 Elastic 官方压测工具 rally 试用. Elasticsearch 的 sampler 聚合. Jong En Dynamische Informatica. No time to wait.

chenlinux.com

扩展 Zabbix Web 页面功能

http://chenlinux.com/2015/01/21/extends-zabbix-web

扩展 Zabbix Web 页面功能. 虽然核心代码是 C 的，却通过 PHP 的 web 端提供了非常方便的界面和 RPC 接口。 可以看到很多讲如何通过 RPC 接口自动化 zabbix 操作的文章。 不过，如果你想做的事情正好没有现成的接口或者界面，怎么办呢 这时候就感谢 zabbix 的后端是用的 MySQL 数据库了，这意味着我们可以很方便的扩展 Zabbix 页面和接口的功能。 打个比方 我们一般都会按照 hostgroup 给某个 item 做一个 summary 汇总，然后针对 summary 的值来做报警。 但是收到报警的时候，怎么能快速的知道这个 group 里是哪些 host 情况相对更严重呢. 它的着手点是 针对 hostgroup 查看 graph，通过 graph 完成肉眼查看对比和 item 值的排序。 但是，单个 graph 上可能就需要加载很多 item 信息。 在 hostgroup 较大，或者单 host 监控项较多的情况下，zatree 直接就因为获取过多信息得不到 MySQL 响应变得无法正常访问了。 根据选择的 hostgroup 获取 item 列表.

chenlinux.com

Kibana 3 源码解析

http://chenlinux.com/2015/03/14/kibana3-source-code-analysis

本文之前已经拆分成章节发布在我的 Kibana 权威指南 电子书. Kibana 3 作为 ELKstack 风靡世界的最大推动力，其与优美的界面配套的简洁的代码同样功不可没。 事实上，graphite 社区就通过移植 kibana 3 代码框架的方式，启动了 grafana 项目. 至今你还能在 grafana 源码找到二十多处 “kbn” 字样。 巧合的是，在 Kibana 重构 v4 版的同时，grafana 的 v2 版也到了 Alpha 阶段，从目前的预览效果看，主体 dashboard 沿用了 Kibana 3 的风格，不过添加了额外的菜单栏，供用户权限设置等使用 这意味着 grafana 2 跟 kibana 4 一样需要一个单独的 server 端。 下面是 kibana 源码的全部文件的 tree 图. 从 index.html 里就可以学到 angularjs 最基础的常用模板语法了。 Indexhtml 中，需要注意 js 的加载次序，先. 整个 kibana 项目都是通过 requrie. Require.config.js 中，主要分成两部分配置，一个是. 因为在 histog...

chenlinux.com

给 Kibana3 添加脚本化字段支持

http://chenlinux.com/2015/01/06/implement-script-field-for-kibana3

所以，把一些有需要的特性，port 回目前更稳定的 Kibana3 就有必要了。 从上次写博客介绍的 uniq histogram 去重统计功能后，这段时间又添加了两个功能。 Kibana3 已经带有 filesaver.js. 要点在于怎么给 table panel 右上角那排小按钮加上一个新图标。 我之前说过，kibana3 代码划分的很细致，每个 panel 都固定只需要提供 editor.html，module.html，module.js 三个文件即可。 Span ng-repeat="task in panelMeta.modals" class="row-button extra" ng-show="task.show" '. Span bs-modal="task.partial" class="pointer" i '. Bs-tooltip="task.description" ng-class="task.icon" class="pointer" /i /span '. 也就是说，它会读取你在 module.js 里定义的. 参数，用来选择是用 termsFacet 还是 ter...

chenlinux.com

Elasticsearch 同一索引不同类型下同名字段的映射冲突实例

http://chenlinux.com/2015/04/03/types-mapping-conflict-in-one-index

具体说明一下场景就明白了 Nginx 和 Apache 的访问日志，因为都属于网站访问，所以写入到同一个索引的不同类型下，比方. 既然都是访问日志，肯定很多字段的内容含义是雷同的，比如 clientip, domain, urlpath 等等。 乍看上去也是同义的，我就统一命名为 “requestTime” 了。 这就是”同一索引(logstash-accesslog-YYYY.MM.DD)下不同类型(nginx,apache)的同名字段(requestTime)”。 但事实上，这里有个问题 nginx 中的以秒为单位，是把毫秒算作小数 apache 中的以秒为单位，是真的只记秒钟整数位. Nginx 类型的 requestTime 是 double. Apache 类型的 requestTime 是 long. 直到我准备用一把 scripted field 的时候，发现计算. Doc['requestTime'].value * 1000. 仔细阅读 scripting module 的文档，其中提到了. JSON 里存的数据确实不一样，而我们平常搜索查看的都是从 JSON 里释放出来的，所以才会如此.