ops.xiaorui.cc

xiaorui.cc

Author Archives | 峰云就她了

http://xiaorui.cc/author/rfyiamcool

前言: 收到疯狂的慢查询及请求超时报警，通过metrics分析出来自mysql请求的异常，cli — show proceslist 看到很多慢查询。 虽然feeds表大到一个亿，但因为feeds流信息有近期热的特征，所以不是因为 innodb buffer poo. 前言: 收到疯狂的慢查询及请求超时报警，通过metrics分析出来自mysql请求的异常，cli — show proceslist 看到很多. 请记住一点，锁资源不会因为线程退出而释放锁资源 我们可以举出两个常见的例子 1. 有个A线程拿到了. 先前遇到过python gunicorn 和 uwsgi 在不同io模型下性能差异问题，导致了下面这些一系列的Q&A ， . MySQL是支持嵌套事务的，但是没多少人会这么干的…. 前段时间在国外看到一些老外在争论MySQL嵌套事务的场景必要性。 MySQL是支持嵌套事务的，但是没多少人会这么干的…. 前段时间在国外看到一些老外在争论MySQL嵌套事务的场景必要性。 前言: 我想大家都知道 ssdb ，pika吧，这两个nosq都是兼容redis协议的存储。 上下文: Redis 4.0...

xiaorui.cc

docker | 峰云就她了

http://xiaorui.cc/category/docker

Docker ulimit引起elasticsearch Too many open files报错. 国内业务方面重度使用elasticsearch的公司不是很多，我公司就是其一. 大多数是使用elk做日志收集展现. 前段时间我们遇到了个问题， 是由于docker容器最大文件打开数配置太小引起的，其实我们在linux本机已经配置了/. Docker ulimit引起elasticsearch Too many open files报错. 国内业务方面重度使用elasticsearch的公司不是很多，我公司就是其一. 大多数是使用elk做日志收集展现. 前. Docker crontab的使用 ， http:/ xiaorui.cc/? 今同事小飞飞遇到一个坑爹的问题，可乐死我了…. 我发现他们组docker用的量也不少，但是经常出问题…. 这次是无法使用docker -it exec 进入容器。 今同事小飞飞遇到一个坑爹的问题，可乐死我了…. 我发现他们组docker用的量也不少，但是经常出问题…. 这次是无法使用docker. 下面是docker remote api的官方的功能目录 Docker ...

xiaorui.cc

python | 峰云就她了

http://xiaorui.cc/category/python

前言: 收到疯狂的慢查询及请求超时报警，通过metrics分析出来自mysql请求的异常，cli — show proceslist 看到很多慢查询。 前言: 收到疯狂的慢查询及请求超时报警，通过metrics分析出来自mysql请求的异常，cli — show proceslist 看到很多. 先前遇到过python gunicorn 和 uwsgi 在不同io模型. Python3.4 和 Python3.5 有个较大区别是 asyncio库进化到 async关键字了. python3.5 当然是向下兼容的，官方在3.5这个版本里推进 async 、await 关键字. async 其实跟 @asyncio.coroutine 相等的， await是跟. Python3.4 和 Python3.5 有个较大区别是 asyncio库进化到 async关键字了. python3.5 当然是向下兼容的，官方在3.5这个版本里推. 有不少人天然觉得基于web的在线聊天很麻烦，其实如果只是单纯的实现聊没什么难的，难点在于怎么保证性能啊. 貌似 node.js 、ja. 以前在python环境下，用二叉堆和ge...

xiaorui.cc

运维开发 | 峰云就她了

http://xiaorui.cc/category/运维开发

前端时间跟同事了一块扯了扯关于zabbix的二次开发，集成cmdb资产的zabbix和sql语句性能优化 关于报警信息的收敛过滤合并，文章原文是 http:/ xiaorui.cc/? P=1861 好了，咱们开始吧 为什么要做告警平台 到底是为什么 zabbx自己不. 前端时间跟同事了一块扯了扯关于zabbix的二次开发，集成cmdb资产的zabbix和sql语句性能优化 关于报警信息的收敛过滤合并，文章原文是 http:/ xi. 这两天有个哥们在问我kibana4的问题，主要是围绕kibana4如何实现像graphite那样metric平均值，也就是聚合实现…. 在老版的kibana中，应该是不能做的，没找到相关聚合文档…. 当然Elasticsearch是支持的，只是kibana这个前端. 这两天有个哥们在问我kibana4的问题，主要是围绕kibana4如何实现像graphite那样metric平均值，也就是聚合实现…. 在老版的kibana中，应. Nginx tcp实现hbase thrift server负载均衡. Nginx tcp实现hbase thrift server负载均衡.

xiaorui.cc

python版shadowsocks流量及用户管理开发 | 峰云就她了

http://xiaorui.cc/2015/08/03/python版的shadowsocks关于流量及用户管理开发

上周五回青岛了，让我不爽的是航班因为天气问题被取消了，然后回北京的时候，特么飞机起飞的时间又拖延了2个小时，特么真倒霉… …. 因为青岛的外企很多，里面的员工是需要经常翻墙浏览一些资料的，最少是gmail和google搜索… 没办法，咱们就这样…. 看来要实现流量管理和多用户需要看他的源码了…. 注 我曾经给作者发过一个邮件让他写点 shadowsocks api接口的文档。 现在有一好人贡献了shadowsock的扩展代码 https:/ github.com/mengskysama/shadowsocks/tree/manyuser ，让我舒心的是，这个python写得，能看懂。 Last get gift time. Last rest pass time. Filename shadowsocks/db transfer.py ，db transfer.py里面的逻辑大多数是用户管理相关的。 Logging.warn(‘db loop’). DbTransfer.get instance().push db all user(). Except Exception as e:. Udp serv...

xiaorui.cc

解决hbase跑mapreduce时遇到内存及超时问题 | 峰云就她了

http://xiaorui.cc/2015/08/04/解决hbase跑mapreduce时遇到内存及超时问题

今上午，自动化都解决后，又………. 下面的还有个 Error: Java heap space的错误 ，这是内存不够用引起的，默认是800m内存，我调整了好几次，显示1.5G，但还是会报错，现在调整到2G … …. 15/08/04 11:41:25 INFO mapreduce.Job: Running job: job 1434436132792 528525. 15/08/04 11:41:50 INFO mapreduce.Job: Job job 1434436132792 528525 running in uber mode : false. 15/08/04 11:41:50 INFO mapreduce.Job: map 0% reduce 0%. 15/08/04 11:56:48 INFO mapreduce.Job: Task Id : attempt 1434436132792 528525 m 000314 0, Status : FAILED. 15/08/04 12:00:59 INFO mapreduce.Job: map 1% reduce 0%.

xiaorui.cc

docker下计划任务crontab的使用方法[python] | 峰云就她了

http://xiaorui.cc/2015/08/14/docker下计划任务crontab的使用方法python

Xiaorui.cc #拉取镜像 FROM wowuwowuwo/spider base COPY ./spider /data/buzzMaster # Define working directory. WORKDIR /data/buzzMaster/ # Clean up RUN rm -rf /tmp/* ENTRYPOINT ["/data/buzzMaster/entrypoint.sh"] #ENTRYPOINT ["echo", "welcome to spider container"] # Define default command. CMD ["bash"]. ENTRYPOINT ["echo", "welcome to spider container"]. Bin/sh export PYTHONPATH=`pwd` & python bin/timer echo $1 sleep $1 export PYTHONPATH=`pwd` & python bin/spider while true;do sleep 3; xxxxxxx; done;.

xiaorui.cc

文艺 | 峰云就她了

http://xiaorui.cc/category/文艺

说说沈灿吧，在蓝汛、京东、百度…都转悠过, 擅长集群管理运维，水平挺好。 说说沈灿吧，在蓝汛、京东、百度…都转悠过, 擅长集群管理运维，水平挺好。 整理这些书单花了不少的时间，在整理的过程中还是很有趣的, 看到一些书名时, 会回想起以前读书的场景和当时的工作生活状态. . 圈子里有朋友问我在python下如何实现类gunicorn多进程管理. Master Worker工作模型非常适合多任务环境，可以规范后端服务，动态的改变worker数，不怕内核的oom等. 在新公司还没怎么分享过python，因为公司的python高手. 圈子里有朋友问我在python下如何实现类gunicorn多进程管理. Master Worker工作模型非常适合多任务环境，可以规范后端服务，动态的改. 招人，招人，招人，重要的事情说三遍 招聘的公司是Admaster，也就是我现在的公司 ，中文名字叫 精硕科技，至于公司的详细资料大家自己搜吧。 招人，招人，招人，重要的事情说三遍 招聘的公司是Admaster，也就是我现在的公司 ，中文名字叫 精硕科技，至于公司的详细资料大家自己搜吧. 哎， 能不能别这么气人. 你是不是.

xiaorui.cc

mongodb | 峰云就她了

http://xiaorui.cc/category/mongodb

最近数据大迁移，Mysql迁移已经完成，但是因为上海机房的硬盘不像ssd那么给力… Hbase是通过thrift来对导. 今天要从mongodb导出些业务数据，做一些测试。 最近数据大迁移，Mysql迁移已经完成，但是因为上海机房的硬盘不像ssd那么给力… Hbase是通过thrift来对导. 今天要从mongodb导出些. Mongodb shell模式的模糊查询是用，db.project.find({‘name’:/xiaorui.cc. Tornado操作mongodb的时候，会堵塞别的访问， motor可以解决这个堵塞的问题，motor是用callback回调的方式，避免一直堵塞线程 Python import tornado.web, tornado.ioloop import motor class NewMessageHand. Dbreportops log.find().skip(155000).limit(10) 速度还行，但是skip到100w条数据后，就有点sb了，速度慢慢的下来了，毕竟他每次都要skip. 通过objectid获取相关的信息 from bson.ob.