qimingyu.com

tianjun.ml

Data Visualization and Analysis in Recsys Challenge

http://www.tianjun.ml/essays/56

Data Visualization and Analysis in Recsys Challenge. Data Visualization and Analysis in Recsys Challenge. 还是来点实际的In Acion之类的东西，所以本文就结合pandas和 Recsys Challenge 2015. 原始网页的Leaderboard 太丑了.我做了个更Fancy的，有兴趣看看 这里. Can we approximate the upper bound score for the 2015 recsys challenge? 土人之NLP日志: How to build a naive (very naive) system scored over 30,000 in RecSysChallenge 2015? 可以看到，Category的缺失信息集中在上半年 category为0表示类别信息缺失 ，下半年打折类别的点击量很多 类别为S表示打折。 Data Visualization and Analysis in Recsys Challenge.

tianjun.ml

给自己放一天假~

http://www.tianjun.ml/essays/26

Throwing Eggs from a Building. Data Visualization and Analysis in Recsys Challenge. Data Science London Scikit-learn. What are you fighting for? This work by Tian Jun. Is licensed under a. Creative Commons Attribution-NonCommercial 4.0 International License.

tianjun.ml

阿里数据挖掘竞赛之自我总结——秋田君

http://www.tianjun.ml/essays/31

1 63天提取训练集特征，64 93提取训练集标注信息 31 93提取测试集特征，94 123提取测试集标注信息，线上采用61 123提取的特征。 2为什么一定要是2选1呢 答 其实还可以有更多选择，比如，64 93提取特征，94 123提取标注。 另外，1 93天就一定是最好的了么 为什么不能用1 108天作为训练集，109 123作为标注，我只预测未来半个月的购买情况呢 时间上这些都是可以用于融合的部分。 后来得出结论，我们都认为想特征这活，big太低.也就是说，我们完全走的一个反方向，企图先在基础特征上巩固好算法 我承认这其中多少是因为自己抱着学习算法的目的而来 ，然后再不断加特征持续提升。 既然没有好的方法降维，那就只好来硬的，邱同学提出直接采用贪心算法，先选出3维点击特征作为基础 本地F1接近5% ，将特征分组 每组特征的粒度很细， =3维 后叠加上去，根据本地F1的升降 给定一个阈值 决定保留与否。 憋了好久，我居然没想起来S1具体排多少名 回头问队长，汗.答复是， 我也不记得了.应该跟S2差不多吧。 Throwing Eggs from a Building.

tianjun.ml

使用Pandas的一点经验和技巧

http://www.tianjun.ml/essays/59

整个过程中都是采用pandas来抽取特征的，总的来说相当畅快，因此希望能够分享些用pandas过程中的经验技巧 坑 ，其中包含了许多从stackoverflow上查找的答案 我尽量引出出处，好多我找不到原始问答了 ，但愿大家少走弯路。 一不小心对ID列加减乘除操作后根本不会有任何提示 此外，string型的数据和int型的数据在打印出来后是没有区别的，有时候你明明看到一个df里有index为12345的这一行数据，df.ix['12345']返回的却是空，很可能原始的index是int型的，换成df.ix[12345]就行了。 除非列名是1,2,3,4这种没法通过df.1的形式访问。 Loc: only work on index. Iloc: work on position. Ix: You can get data from dataframe without to be this in the index. At: get scalar values. It's a very fast loc. Iat: Get scalar values. I'ts a very fast iloc.

tianjun.ml

About This Site

http://www.tianjun.ml/essays/54

不过，大部分代码应该是这几天放假的时候写的 总共也就几百行 ，源码可以在 这里. Response').keyup(function () { var v = $('#response').val(), s = markdown.core.mdToHtml(v); $("#rendered").html(s) MathJax.Hub.Queue(["Typeset",MathJax.Hub,"rendered"]); if(save time out) { clearTimeout(save time out); } / 10 秒钟内检测到输入则重置延时 save time out = setTimeout(function () { var ref = $('#tree-container').jstree(true), sel = ref.get selected(); if(! Sellength) { return false; } sel = sel[0]; $.ajax({ type: "PUT", url: "/essays/" sel, data: JSON.string...

tianjun.ml

一个微博爬虫的设计原型

http://www.tianjun.ml/essays/33

上个月去了趟南京,回来后再加上个国庆假期,整个人就闲下来了.每天,也没太多事情可做,有时候,很享受这样的日子,呵.闲下来的时候,总想找点事做来打发打发时间. 目前的兴趣点在网络和图论这块,再加上之前接触了一下图数据库neo4j,感觉得这货以后很有潜力,于是乎,希望能够找个实际点的东西来练练手,然后,很短视地想到适合用图数据库的地方- 社交网络.其实也没多想,就敲定了新浪微博这个平台(别问我为啥偏偏是微博). 一开始希望做的事情是,能够用图数据库neo4j来存储一些社交网络上的数据,这样以后分析起来效率会高很多,也算是搭建个平台起来吧. 做爬虫这种事,必然有很多人已经做过了,所以,最重要的是前期调研,然后,找到了知乎上点赞最多的 这个. 回答,总的来说,很有收获.所以,自己后面数据流的设计基本是参照这个来的.为了后面阐述方便,先看 大图. 上图有个问题,实际上不应该使用Queue,而是使用set或者order set的结构来存储. 可能大多数人做爬虫只是简单的上来先写好网络接口,配置好存储方式就开始了.不过,在这里,我是希望整个过程能够有一个良好的可扩展性.因此,需要考虑的事情会更多. 爬虫需要设计好如何...

tianjun.ml

Data Science London + Scikit-learn

http://www.tianjun.ml/essays/55

Data Science London Scikit-learn. Data Science London Scikit-learn. 从前面两步可以看出，提升的关键在于对数据的清理，那么，能不能在此基础上继续往前探索呢 我们知道主成分分析有其局限性，那么还有哪些其他改进的办法呢 沿着这个思路，尝试采用sparse filtering 对该降维的过程做出改进。 后面可以利用该特性进一步提升 ，从图中可以看出，采用SF的最好效果要略优于pca降维后的效果，可以达到0.955附近，但是实际线上测试不过0.94。 Data Science London Scikit-learn. Throwing Eggs from a Building. Data Visualization and Analysis in Recsys Challenge. Data Science London Scikit-learn. What are you fighting for? This work by Tian Jun. Is licensed under a.

tianjun.ml

一张图说cuda

http://www.tianjun.ml/essays/29

将思绪按照时间维发散下去，read,write,sync, communicate. Throwing Eggs from a Building. Data Visualization and Analysis in Recsys Challenge. Data Science London Scikit-learn. What are you fighting for? This work by Tian Jun. Is licensed under a. Creative Commons Attribution-NonCommercial 4.0 International License.

tianjun.ml

（6）一起用python之基础篇——数据结构

http://www.tianjun.ml/essays/58

于是我大致找了一下python下数据结构方面的书，对比后发现 Data Structures and Algorithms in Python. 个人觉得本书更侧重于数据结构部分，如果你只是想学习怎样用python实现基本的算法，可以参考这本书 Python Algorithms - Mastering Basic Algorithms in the Python Language. 胡家威同学写了个系列的，很值得一看 http:/ hujiaweibujidao.github.io/python/. 以下内容可以看做是Data Structures and Algorithms in Python这本书的导读。 作者从ADT Abstract Data Type 出发，在前面实现的基于Array的序列基础上，实现了栈、队列、双向队列这三种数据结构。 不过,除了更改之外,还有添加删除操作(如pop, remove, del等),但是,在这一点上,. Python In [24]: 0 = False Out[24]: True In [25]: 0 is False Out[25]: False.

tianjun.ml

Throwing Eggs from a Building

http://www.tianjun.ml/essays/57

Throwing Eggs from a Building. Throwing Eggs from a Building. Throwing eggs from a building. 为了找到这个F，设计一个思路使得尝试的次数接近 ( sim lg N )并且最后摔破的鸡蛋个数接近 ( sim lg N )，然后想办法降低到 ( sim 2lg F )。 显然，如果鸡蛋在1楼才摔破的话，摔破的鸡蛋个数和尝试的次数都接近 ( sim lg N )。 问题在于，如何降低到 ( sim 2lg F ). 那么如何平衡呢 前面是拿着鸡蛋一层一层往上测试，这样子太慢了 不妨每隔两层 三层，五层 测试一次，摔碎了的话再退回来。 这样摔碎的鸡蛋个数是 ( sim lg(F/2) ) 前面在第 (1,2,4,.,2 k-1 )层测试的时候没摔碎，只有后面 (2 k-1到 2 k )之间 二分查找时候才有可能摔碎 ，而尝试的次数 为 ( sim 2lg F )。 Throwing two eggs from a building. 首先，得确定第一个步长 (x 1 )，. This work by Tian Jun.