reneeb-perlblog.blogspot.com
Perl-Blog: CPAN PullRequest Challenge 2015
http://reneeb-perlblog.blogspot.com/2015/01/cpan-pullrequest-challenge-2015.html
Perl ist eine wunderbare Programmiersprache. Ich werde hier in unregelmässigen Abständen nennenswertes posten. Friday, January 02, 2015. CPAN PullRequest Challenge 2015. Hatte mal wieder eine seiner großartigen Ideen: Er organisiert die " CPAN PullRequest Challenge 2015. Dabei bekommt jede/r Teilnehmer/in jeden Monat ein CPAN. Modul zugewiesen, für das er/sie (mindestens) einen PullRequest. Im Laufe des Monats erstellen soll. Kann man einige Experten fragen und auch auf der Mailingliste. Yak-Shaving Janu...
chenlinux.com
【翻译】kibana 的聚合执行次序
http://chenlinux.com/2015/02/25/kibana-aggregation-execution-order-and-you
原文地址 http:/ www.elasticsearch.org/blog/kibana-aggregation-execution-order-and-you/. 可能现在你已经发现了 Kibana 4 的 Visualize 界面上那些狡猾的小箭头，然后会问 你们在那干嘛呢 有啥用啊 嗯，这些按钮是用来控制聚合执行次序的。 这个就定义了 Elasticsearch 如何分析你的数据，以及 Kibana 如何展示结果。 什么叫 最活跃的用户 让我们多加几个参数 一年时间，按照每周，计算前 5 名用户。 这个截屏里，我们先运行时间轴柱状图(date histogram)，然后再问前 5 名用户。 这就会给一年的每个星期创建一个桶(bucket，译者注 ES 的 聚合 API 响应内容就是以 bucket 存在的)。 在每个星期里，我们找到前 5 名用户，所以在这种情况下，每周的前 5 名用户，可能都是不一样的，最后在图例里，你就看到超过 5 个用户了。 现在，我们点击向上箭头，把 terms 聚合移到 date histogram 上面来。 Elastic 官方压测工具 rally 试用.
chenlinux.com
【翻译】用 kibana 4 调查你邻居可能投票给的人
http://chenlinux.com/2015/02/25/kibana-4-for-investigating-pacs-super-pacs-and-your-neighbors
翻译 用 kibana 4 调查你邻居可能投票给的人. 原文地址 http:/ www.elasticsearch.org/blog/kibana-4-for-investigating-pacs-super-pacs-and-your-neighbors/. 如同 fec.gov 上所说. 所以，现在 FEC 提供给了我们原始数据，我们能做什么呢 如果你不认为自己是一个会用 R 分析数据的数据科学家，或者会做漂亮的 D3.js 可视化效果的纽约时报员工，你可能这下就卡住了。 数据导入的步骤我会稍后讲，现在，先让我们看看 Kibana 4 能做到些什么。 Kibana 4 里，你应该从 Discover 标签页开始。 在上面截图里，我们看到 2013-2014 选举周期里，一共有将近 210 万条个人捐献记录。 竞选献金数前 10 名的州里，排名前 3 的城市都是哪些. 这样，要问 接收献金最多的 10 个委员会的名字是 就比较难了。 A Aggregation: 选择 Terms 因为我们是要基于字段的值来创建分片(“terms” 是 Elasticsearch 里的说法)。 判决裁定没有捐钱给具体候...
chenlinux.com
spark streaming 和 spark sql 结合示例
http://chenlinux.com/2015/02/13/spark-streaming-sql
Spark streaming 和 spark sql 结合示例. 之前在博客上演示过如果在 spark 里读取 elasticsearch 中的数据。 自然往下一步想，是不是可以把一些原先需要定期请求 elasticsearch 的监控内容挪到 spark 里完成 这次就是探讨一下 spark streaming 环境上如何快速统计各维度的数据。 Spark 是用 scala 写的，scala 的打包工具叫 sbt。 Sudo port install sbt. Mkdir -p ./logstash/src/main/scala/. 注意，因为 spark 只能用 pull 方式获取数据，所以 logstash/output/tcp 必须以. Output { tcp { codec = json lines mode = 'server' port = 8888 } }. Orgapache.spark.streaming.StreamingContext. Scalautil.parsing.json.JSON. 进阶 数据映射和 SQL 处理. 来转换成 spark SQL 支持的表类型。
chenlinux.com
spark streaming 接收 kafka 数据示例
http://chenlinux.com/2015/03/14/spark-streaming-kafka
Spark streaming 接收 kafka 数据示例. 上个月曾经试过了用 spark streaming 读取 logstash 启动的 TCP Server 的数据。 不过如果你有多台 logstash 的时候，这种方式就比较难办了 即使你给 logstash 集群申请一个 VIP，也很难确定说转发完全符合。 所以一般来说，更多的选择是采用 kafka 等队列方式由 spark streaming 去作为订阅者获取数据。 Cd kafka 2.10-0.8.2.0/bin/ ./zookeeper-server-start.sh ./config/zookeeper.properties & ./kafka-server-start.sh - daemon ./config/server.properties. 保持跟之前示例的连贯性，这里继续用 logstash 发送数据到 kafka。 首先创建一个 kafka 的 topic. Orgapache.spark.streaming.StreamingContext. 第二个，之前示例里用了 scala 核心自带的 JSON 模块。
perlweekly.com
Perl Weekly Issue #211 - 2015-08-10 - CPAN Day is Sunday 16th August
http://perlweekly.com/archive/211.html
Issue #211 - 2015-08-10 - CPAN Day is Sunday 16th August. Don't miss the next issue! There is a new version of the MongoDB driver coming for Perl 5, and David would like you to try out the first release candidate. This Sunday, 16th August, is CPAN Day, and this year marks the 20th anniversary of the first upload to CPAN. I still don't know what a monad is. Morgan Stanley Budapest Perl developer for cloud. Front-end with AngularJS, Back-end with Perl Dancer and MongoDB - Save 100 Euro. Aristotle has creat...
chenlinux.com
【翻译】kibana 4 正式就位
http://chenlinux.com/2015/02/25/kibana-4-literally
翻译 kibana 4 正式就位. 原文地址 http:/ www.elasticsearch.org/blog/kibana-4-literally/. 现在，我们可以分享这个开心的消息给大家了 Kibana 4.0.0 GA 啦 截图和主要信息见下。 从 Kibana 4 下载. 阅读 Kibana 4 文档. 小贴士: 如果你还没准备好，你需要先升级你的集群到 Elasticsearch 1.4.4. 小贴士 2: 如果你是从 Kibana4 RC1 升级上来，你需要迁移一下你的配置。 为什么我每天半夜 2 点要被喊起来 代码什么时候推送到生产环境了 它是不是破坏什么了 嗯，我们解决的就是这些。 我们从 Kibana 3 里学到的东西，都应用到了 Kibana 4 里。 为什么满足于在地图上画 1000 个点，而实际上我们可以有一亿个点 为什么满足于一个图上处理一个字段 或者一个面板上一个图 为什么一个仪表板上只能一个索引 让我们生成 5 个场景，跨越 2 个字段对比数据，然后从 3 个索引里读取这些数据，放到一个仪表板里。 同样，我会写到 wiki 里，把数据导出成 CSV 然后发邮件给你。
chenlinux.com
spark streaming 的 transform 操作示例
http://chenlinux.com/2015/02/14/spark-streaming-transform
Spark streaming 的 transform 操作示例. 前两篇，一篇说在 spark 里用 SQL 方便，一篇说 updatestateByKey 可以保留状态做推算。 那么怎么综合起来呢 目前看到的 spark streaming 和 spark SQL 的示例全都是在 output 阶段的. 实际在 output 之前，也是可以对 DStream 里的 RDD 做复杂的转换操作的，这就是. 方法，可以做到 SQL 请求的结果依然是 DStream 数据，这样就可以使用. Orgapache.spark.sql.SQLContext. Orgapache.spark.streaming.StreamingContext. Trend($avg, $count, $avgTrend, $countTrend)". 我不懂 Java/Scala，以为是只要是 RDD 对象即可。 Elastic 官方压测工具 rally 试用. Elasticsearch 的 sampler 聚合. Jong En Dynamische Informatica. No time to wait.
chenlinux.com
扩展 Zabbix Web 页面功能
http://chenlinux.com/2015/01/21/extends-zabbix-web
扩展 Zabbix Web 页面功能. 虽然核心代码是 C 的，却通过 PHP 的 web 端提供了非常方便的界面和 RPC 接口。 可以看到很多讲如何通过 RPC 接口自动化 zabbix 操作的文章。 不过，如果你想做的事情正好没有现成的接口或者界面，怎么办呢 这时候就感谢 zabbix 的后端是用的 MySQL 数据库了，这意味着我们可以很方便的扩展 Zabbix 页面和接口的功能。 打个比方 我们一般都会按照 hostgroup 给某个 item 做一个 summary 汇总，然后针对 summary 的值来做报警。 但是收到报警的时候，怎么能快速的知道这个 group 里是哪些 host 情况相对更严重呢. 它的着手点是 针对 hostgroup 查看 graph，通过 graph 完成肉眼查看对比和 item 值的排序。 但是，单个 graph 上可能就需要加载很多 item 信息。 在 hostgroup 较大，或者单 host 监控项较多的情况下，zatree 直接就因为获取过多信息得不到 MySQL 响应变得无法正常访问了。 根据选择的 hostgroup 获取 item 列表.
