hbasefly.com
HBase最佳实践-CMS GC调优 – 有态度的HBase/Spark/BigData
http://hbasefly.com/2016/08/09/hbase-cms-gc
Skip to main content. MemStoreLAB策略、Memstore Chuck Pool策略对写缓存Memstore进行优化开始,到0.96版本提出BucketCache以及堆外内存方案对读缓存BlockCache进行优化,再到后续2.0版本宣称会引入更多堆外内存,可见HBase会将堆外内存的使用作为优化GC的一个战略方向。 如果看官还对CMS GC不是很了解,可以参考笔者之前的另一篇文章 HBase GC的前生今生-身世篇 ,文中对JVM的内存结构以及CMS GC进行了相当详细的介绍。 1 Young区 一个对象初始化之后,首先会进入Eden区,当Eden区满之后会触发一次Minor GC,Minor GC会检查Eden区所有对象是否依旧存活 是否有其他对象引用 ,如果存活,会将其从Eden区拷贝到Survivor区,并将这些存活对象的age加一,而死亡的对象会被作为垃圾回收。 很显然,随着时间流逝,Tenured区也会被填充满,此时就会触发CMS GC old gc ,这种GC相对比较复杂,由5个步骤组成,详见参考文章。 第二部分 不同age对象分布区,第一列表示该Young区...
hbasefly.com
2016年8月 – 有态度的HBase/Spark/BigData
http://hbasefly.com/2016/08
Skip to main content. 那问题来了,一个集群上面到底应该运行哪些业务可以最大程度上利用系统的软硬件资源 另外,对于一个给定业务来说,应该如何规划集群的硬件容量才能使得资源不浪费 最后,一个给定的RegionServer上到底部署多少Region比较合适 想必这些问题都曾经困惑过很多HBaser,那本文将结合前人的分享以及笔者的经验简单的对这三个问题分别进行解析,抛砖引玉,希望大家能够针对这几个话题进行深入的交流. MemStoreLAB策略、Memstore Chuck Pool策略对写缓存Memstore进行优化开始,到0.96版本提出BucketCache以及堆外内存方案对读缓存BlockCache进行优化,再到后续2.0版本宣称会引入更多堆外内存,可见HBase会将堆外内存的使用作为优化GC的一个战略方向。 联系方式 libisthanks@gmail.com 微信 libisthanks 申请好友请注明城市-公司-姓名. Sparkling Theme by Colorlib.
hbasefly.com
HBase最佳实践-多租户机制简析 – 有态度的HBase/Spark/BigData
http://hbasefly.com/2016/09/26/hbase-mutiltenant-1
Skip to main content. 2 资源调度,主要针对任务进行优先级调度,通常会优先调度实时交互而且小的任务,而批量操作任务或者长时间操作任务 大scan 优先级相对较低,详见HBase-10993. 本文将会重点介绍HBase中的资源限制方案 – Quotas,主要对其使用方式、实现原理进行介绍,并对其实际效果通过实践进行验证。 1 HBase版本在1.1.0以上,或者低版本HBase应用了对应的Patch HBase-11598. 2 Quotas功能默认是关闭的,需要在配置文件hbase-site.xml中通过设置hbase.quota.enabled为true打开。 Hbase set quota TYPE = THROTTLE, THROTTLE TYPE = READ, USER = 'u1', TABLE = 't2', LIMIT = '10req/sec'. 2 THROTTLE TYPE可以取值READ / WRITE,分别对随机读和随机写进行限制. 可以通过参数 hbase.quota.refresh.period 进行设置,比如可以通过设置. 12 * 3.6T.
hbasefly.com
学习从来不是一件简单地事情,然 – 有态度的HBase/Spark/BigData
http://hbasefly.com/2017/01/02/how-to-study
Skip to main content. 官方文档 http:/ spark.apache.org/docs/latest/index.html. 官方博客 https:/ databricks.com/blog. Youtube视频 比较多 https:/ www.youtube.com/watch? 国内大神 https:/ github.com/JerryLead/SparkInternals/tree/master/markdown. 4 实践探索 30% 第三步完成之后,相信你已经可以就这项技能和别人谈笑风生了,但也就仅此而已。 5 分享交流 20% 上面四步都是你自己对知识的理解,你还需要看看同行是如何理解的。 在 “ 学习从来不是一件简单地事情,然. Rdquo; 上有 6 条评论. 联系方式 libisthanks@gmail.com 微信 libisthanks 申请好友请注明城市-公司-姓名. Sparkling Theme by Colorlib.
hbasefly.com
2016年9月 – 有态度的HBase/Spark/BigData
http://hbasefly.com/2016/09
Skip to main content. 2 资源调度,主要针对任务进行优先级调度,通常会优先调度实时交互而且小的任务,而批量操作任务或者长时间操作任务 大scan 优先级相对较低,详见HBase-1099. 正所谓 恐惧来源于未知 ,不知所措意味着我们对RIT知之甚少,然而 凡事都有因果,万事皆有源头 ,处于RIT状态的Region只是肉眼看到的一个结果,为什么会处于RIT状态才是问题探索的根本,也是解决问题的关键。 本文就基于hbase 0.98.9版本对RIT的工作机制以及实现原理进行普及性的介绍,同时在此基础上通过真实案例讲解如何正确合理地处理处于RIT状态的Region。 联系方式 libisthanks@gmail.com 微信 libisthanks 申请好友请注明城市-公司-姓名. Sparkling Theme by Colorlib.
baohua.me
宝华的博客 – 第2页 – 系统运维&系统架构
http://baohua.me/page/2
宝华的博客 系统运维&系统架构 Page 2. 八月 31, 2014. Https:/ download-installer.cdn.mozilla.net/pub/firefox/releases/31.0/linux-x86 64/zh-CN/firefox-31.0.tar.bz2. Tar -jxvf firefox-31.0.tar.bz2 -C /usr/local/. 八月 24, 2014. 六月 15, 2014. 为了保证正常的使用Google搜索,自己在VPS服务器上搭建了一个反向代理服务,将 http:/ doo.tips. 域名解析到Google.com的服务器上,这样就可以使用访问 http:/ doo.tips. 五月 24, 2014. Yum -y install telnet. Yum -y install telnet-server. Rpm -ivh telnet-server*.rpm. Rpm -ivh telnet*.rpm. Socket type = stream. Server = /usr/sbin/in.telnetd. 五月 23, 2014.
baohua.me
MyLife – 宝华的博客
http://baohua.me/category/mylife
二月 17, 2014. 又有一些日子没有上博客来写东西了,上周就出去出了趟差,然后周四通宵部署了一次,就… Continue Reading →. 二月 6, 2014. 明天就正式上班了,新的一年工作即将开… Continue Reading →. 二月 2, 2014. 今天,已经是大年初三了,一个晴朗舒适的日子,下午到梧桐山下走动了一下,亲自采摘了… Continue Reading →. 一月 18, 2014. Good bye 2013 2014年已经过了很久了,原本2013年的总结应该在… Continue Reading →. 十二月 2, 2013. 每隔一段时间,自己都会反思自… Continue Reading →. 十二月 1, 2013. 很多的时候,太… Continue Reading →. 十月 31, 2013. 现在做一些东西并不… Continue Reading →. 十月 1, 2013. 八月 25, 2013. 其实,… Continue Reading →. 八月 18, 2013. 8230; Continue Reading →.
baohua.me
Linux手动清理内存 – 宝华的博客
http://baohua.me/operating-system/linux/linux-manual-cleaning-up-memory
四月 21, 2014. Root@localhost Desktop]# free -m. Total used free shared buffers cached. Mem: 3953 1479 2474 0 56 1008. Swap: 2047 0 2047. Root@localhost Desktop]# cat /proc/sys/vm/drop caches. 手动执行sync命令 描述 sync 命令运行 sync 子例程。 Sync 命令将所有未写的系统缓冲区写到磁盘中,包含已修改的 i-node、已延迟的块 I/O 和读写映射文件. Root@localhost Desktop]# echo 1 /proc/sys/vm/drop caches. Root@localhost Desktop]# free -m. Total used free shared buffers cached. Mem: 3953 462 3491 0 0 72. Swap: 2047 0 2047. To free pagecache, dentries and inodes, use echo 3.
baohua.me
虚拟化 – 宝华的博客
http://baohua.me/category/virtualization
Citrix License Server11.11.1在Windows7的部署. 七月 30, 2013. Citrix License Server11.11.1在Windows7的部署. Citrix License Server 最新的版本为11.11.1,这个只发… Continue Reading →. 六月 21, 2013. 现通过修改虚拟机的部分参数,可以在VMware Workstation中部署Xe… Continue Reading →. VMware Workstation Solaris 10 Install VMware Tools. 六月 5, 2013. VMware Workstation Solaris 10 Install VMware Tools. 最近在折腾Solaris 10,在虚拟机中安装了Solaris 10操作系统,操… Continue Reading →. 五月 28, 2012. 实验环境 1台AD、2台XenAPP、2台WI、1台SQL、1台License服… Continue Reading →. 五月 24, 2012.