发表于   |   分类于

RANK_SVM 原理

RankSVM基于SVM算法，将pair-wise的排序问题，转化为分类问题

SVM算法回顾

  1. SVM的优化目标
    $min \frac{1}{2}||w^2|| $
    $s.t. y_i(w^Tx_i+b) >= 1(i = 1, 2, 3 … n)$

  2. 使用拉格朗日函数 –> 转化为对偶问题来求解

  3. SVM使用的loss func为hinge loss(合页损失函数)
    $min_{w,b}[1 - y_i(w*x + b)]_+ + \lambda||w||_2^2$

RANK_SVM介绍

  1. 定义1：f是排序函数，$x_i\succ x_j \Longleftrightarrow f(x_i) > f(x_j)$, 表示如果$f(x_i) > f(x_j)$，$x_i$需要排在$x_j$的前面

  2. 定义2：假设f(x)是一个线性函数，$f(x) = \langle w, x \rangle$ 表示参数向量w和特征向量x的点乘(inner product)

  3. 定义3，我们可以将排序问题转换为分类问题
    $f(x_i) > f(x_j) \Longleftrightarrow \langle w, x_i - x_j \rangle > 0$

  4. 定义4定义y表示label值, 区值范围+1和-1，

    • y = +1, $if \langle w, x_i - x_j \rangle > 0$
    • y = -1, $if \langle w, x_i - x_j \rangle < 0$
      这样，我们就将排序问题转换成了分类问题

如何求解

这里，传统的SMO优化方法，我们这里不再做具体的介绍，在实做上，我们一般使用的是SGD方法
既然我们已经有了loss function，我们当然可以通过sgd的方法来解

loss func

  • loss = $min_w \frac{\lambda}{2}||w||^2 + \sum_{(d_i, d_j)}max(0, 1 - y_{(d_i, d_j)}\langle w, x_{d_i} - x_{d_j} \rangle)$
  • grad = $\lambda w - \sum_{i,j}I(y_{i,j} \langle w, x_i - x_j\rangle < 1)y_{i,j}(x_i - x_j)$

参考

  1. https://github.com/glycerine/sofia-ml, google实现的ranksvm
  2. learning to rank by lihang

发表于   |   分类于

如何生成so文件？

为了生成so文件，只需要修改makefile中的编译参数，主要是加上-shared等参数。我们下面会用一个实例来说明：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
//test_ctypes.cpp
#include "test_ctypes.h"

A::A(int n) {
    num = n;
}

A::~A() {
    num = 0;
}

int A::get_num() {
    return num;
}

//封装
extern "C" {
    void* get_instance(int n) {
        return new(std::nothrow)A(n);
    }

    int get_num(void* ptr) {
        assert(NULL != ptr);
        A* a = reinterpret_cast<A*>(ptr);
        return a->get_num();
    }
}

阅读全文 »

发表于   |   分类于
  • -fPIC : 编译共享库（-shared）
  • -Wall : 编译后显示所有警告
  • -pipe : 使用管道代替临时文件
  • -Idir : 将dir加入搜索头文件的路径列表
  • -w : 禁止显示所有警告信息
  • -Xlinker : 用于链接很多静态库, -Xlinker “-(“ libtest1.a libtest2.a-Xlinker “-)”，如果libtest2.a中使用了libtest1.a中的接口，不使用这个关键字的话，必须将libtest2.a写在libtest1.a前面，加了这个参数之后则没有这个限制
  • -lpthread : 多线程链接
  • -lcrypto : 链接crypto库，用于加密
  • -g : 支持gdb调试用
  • $@ : 目标文件
  • $^ : 所有依赖文件
  • $< : 第一个依赖的文件
  • ar rcs : 生成.a文件
  • -static : 使用静态编译，把动态库的函数和所依赖的东西都编译进本程序，生成文件会非常大，但运行时不需要任何动态库
  • makefile中的命令前要使用tab
  • -D : 通过宏定义控制源程序的编译, 在程序中通过#ifdef/#else/#endif来控制
  • linux程序安装过程
    1. ./configure : 用来生成makefile，–prefix用来制定安装的路径，比如：./configure –prefix = /home/work/python, 则执行文件会安装在/home/work/python/bin目录下，资源文件会安装在/home/work/python/share目录下
    2. make : 编译程序
    3. make install : 安装

发表于   |   分类于

基本概念

  1. session
  2. window
  3. panel

主要命令

session

  1. 新建一个tmux session 

    直接在终端输入tmux
或者tmux new -s session_name

  2. 列出所有session

    tmux ls
阅读全文 »

发表于   |   分类于

习题1.1

问题：假设观测到伯努利模型n次独立的数据生成结果，其中k次的结果为1，这时可以用极大似然估计或者贝叶斯估计来估计结果为1的概率

极大似然估计法

$L(\theta) = \theta^k(1-\theta)^{n-k}$

对$\theta$求导

$L’(\theta) = k\theta^{k-1}(1-\theta)^{n-k} + \theta^{k}(n-k)(1-\theta)^{n-k-1}(-1) = 0$

=> $k(1-\theta) = \theta(n-k)$

=> $k = \theta n$

=>$\theta = \frac{k}{n}$

k