发表于   |   分类于

常用gdb命令

  1. 查看堆栈信息
    bt
  2. 进入到某个堆栈中
    f n : n是堆栈的id
  3. gdb打印结构体更漂亮
    set print pretty
  4. 查看函数参数信息
    info args
  5. 查看函数局部变量信息
    info locals
  6. 查看线程信息
    info threads
    thread n : 进入第n个线程

Mac上查看core

  1. 出core只有段错误信息，却没有core
    需要执行命令：ulimit -c unlimited
  2. Mac下core是被写入到/cores目录下的，需要在这个目录下查看core
  3. 如何查看core
    lldb –core core.xxx

[ 参考文档 ]

  1. http://linuxtools-rst.readthedocs.io/zh_CN/latest/tool/gdb.html
  2. https://wizardforcel.gitbooks.io/100-gdb-tips/ 100个gdb小技巧
  3. http://blog.afantree.com/unixlinux/how-to-generate-core-dumps-in-mac-os-x.html

发表于   |   分类于

理解word2vec

最近在看斯坦福的课程，对word2vec有了更深刻的理解，在这里总结一下。

什么是word2vec

传统的one hot的表达方式维度太大，并且无法表达词之间的语义之间的联系

word2vec原理（skip - gram来举例）

skip gram是使用中心词预测背景词的概率，架构图如下：

我们使用最大似然估计来写出整体要优化的目标：

$\prod_{t=1}^{T}\prod_{-m <= j <= m, j \neq 0}p(w_{t+j} | w_t; \theta)$

其中：m表示窗口大小，T表示总共有T个window

我们将最大似然转换为loss function只需要取-log，之后的结果为：

$J(\theta) = - \frac{1}{T} \sum_{t=1}^{T} \sum_{-m <= j <= m, j \neq 0 }\log {p(w_{t+j} | w_t)}$
$p(o|c) = \frac{\exp(u_o^Tv_c)}{\sum_{w=1}^{v} \exp (u_w^Tv_c)}$，这里使用softmax对概率进行了归一化。

c表示中心词索引，o表示背景词索引，$u_o$和$v_c$分别是对应的向量表示。这里让我先想到了fm也是对每个特征转换成了一个向量表示，然后求内积的inner product。

如何求解参数

对中心词$v_c$求导

$\frac{\partial \log{\frac{\exp(u_o^Tv_c)}{\sum_{w=1}^{v} \exp (u_w^T v_c)}}}{\partial v_c}$
$=\frac{\partial \lgroup \log{ {\exp(u_o^T v_c)} - \log{ \sum_{w=1}^{v} \exp (u_w^Tv_c) } \rgroup } } {\partial v_c}$
$=\frac{\partial \log{\exp(u_o^Tv_c)} } {\partial v_c} - \frac { \partial \log{\sum_{w=1}^{v} \exp (u_w^Tv_c)} } {\partial v_c}$
$= u_o - {\frac{1}{ \sum_{w=1}^{v} exp(u_w^Tv_c) } } \frac { \partial { \sum_{x=1}^{v} \exp (u_x^Tv_c) } } { \partial v_c }$
$= u_o - {\frac{1} { \sum_{w=1}^{v} exp(u_w^Tv_c) } } { { \sum_{x=1}^{v} \frac {\partial {\exp (u_x^Tv_c)} } {\partial v_c} } }$
$= u_o - {\frac{1} { \sum_{w=1}^{v} exp(u_w^Tv_c) } } { { \sum_{x=1}^{v} \exp (u_x^Tv_c) u_x} }$
$= u_o - { { } } { { \sum_{x=1}^{v} \frac {\exp (u_x^Tv_c)} {\sum_{w=1}^{v} exp(u_w^Tv_c)} u_x} }$
$=u_o - \sum_{x=1}^{v} p(x|c) u_x$

问题：比如一个句子 a1 a2 a3 a4 a5，5个term构成，窗口为1；a2这个term既可以作为中心词，也可以作为背景词，需要注意的是，a2这个term作为中心词和背景词的vector是不一样的，更新的不是一个vector。

负采样

基础

$\sigma(-x) = 1 - \sigma(x)$
$\sigma(x) = \frac {1} {1 + e^{-x}}$

定义

如果考虑整个V集合的负样本，计算量太大，因此提出了负采样的方法
$J(\theta) = \frac{1}{T} \sum_{t=1}^{T}J_t(\theta)$
$J_t(\theta) = log{\sigma(u_o^Tv_c)} + \sum_{j=1}^{k}E_{j \sim P(w)}[log{\sigma(-u_j^Tv_c)}]$
其中 k 表示从分布$P(w)$中随机负采样出的负例个数，t表示第t个window

推倒

D=1 表示中心词$w_c$和背景词$w_o$同时出现在一个窗口内
D=0 表示中心词$w_c$和背景词$w_o$没有同时出现在一个窗口内

转换成了二分类的问题
$P(D=1| w_o, w_c) = \sigma(u_{o}^{T}v_c)$
$P(D = 0 |w_o, w_c) = 1 - P(D = 1 | w_o, w_c) = \sigma(-u_{o}^{T}v_c)$

最大似然估计可以转化为：
$P(w_o | w_c) = P(D=1|w_o, w_c) \prod_{j=1, w_j \sim P(w) }^{k}P(D=0|w_j, w_c)$
取-log后即为最终的loss function。

参考文档

  1. http://mccormickml.com/2016/04/19/word2vec-tutorial-the-skip-gram-model/
  2. https://www.youtube.com/watch?v=ERibwqs9p38&list=PL3FW7Lu3i5Jsnh1rnUwq_TcylNr7EkRe6&index=2

发表于   |   分类于
  • sort排序的时候要加上 LC_ALL=C, 否则排序可能不符合预期，具体请参考文章
  • 如何删除行尾的^M特殊符号：%s/\r//g

  • 如何将urlencode后的编码还原

    1
    2
    3
    from urllib import unquote
    str = '%E7%88%86%E6'
    print unquote(str)

  • 如何将在一个版本上开发的代码移植到另一个版本上

    1
    2
    3
    4
    svn diff > code.diff
    patch -p0 -i code.diff
    注意：可能会有拒绝，以.rej结尾，所有patch完之后，一定别忘了执行命令：
    find . -name "*.rej" 来合并下diff

  • sort排序指定分隔符

    1
    sort -t $'\t' : 使用-t参数, 注意是单引号

  • std::sort，cmp函数在元素相等时要返回false,否则会core掉，可以使用stable_sort

  • 求差集

    1
    2
    a-b : grep -F -v -f b a | sort | uniq
    b-a : grep -F -v -f a b | sort | uniq

  • grep

    • 忽略大小写：-i
    • 查询二进制文件：-a (相当于–binary-files=text)

  • 压缩 & 解压

    • tar

      1
      2
      3
      4
      5
      压缩：tar  -zcvf  xxx.tar.gz  yourdirectory
      解压：tar  -zxvf  xxx.tar.gz

      只打包不压缩 ：tar -cvf xxx.tar yourdirectory
      解包：tar -xvf xxx.tar

    • zip

      1
      解压：unzip xxx.zip

    • tar.bz2

      1
      2
      bzip2 -d filename.tar.bz2, 生成filename.tar
      tar -xvf filename.tar

  • wget

    • nohup wget -r -l0 –preserve-permissions ftp_file &
    • preserve-permissions : 保存权限
    • -l0 ：表示一直递归到最后一层，防止目标文件层次过多导致无法完全wget下来
    • -nH –cut-dirs=5 表示wget的时候使用目录裁剪

  • lsof

    • lsof -i:port_id : 查看端口号对应的进程id

  • 删除文件中的^@

    • ^@就是\0, 执行命令: sed -r ‘s/\x0//g’
    • 输入ctrl+V ctrl+@, 可以在vim中打出来，直接在vim中替换
  • 文档转换成unix格式, 删除文档中包含^M
    • dos2unix
  • linux安装需要注意的PATH
    • 动态链接库：LD_LIBRARY_PATH，使用的时候需要: export LD_LIBRARY_PATH = new_installed:$LD_LIBRARY_PATH
    • 可执行程序的查找路径：PATH, 使用的时候需要: export PATH = new_installed:$PATH
  • 删除源码软件安装
    • 1.找到安装目录，执行命令make uninstall
    • 2.如果第一步无法删除成功，说明不支持这种卸载方式，可以通过执行whereis查看可执行文件／lib等文件安装到了什么位置，然后执行rm删除

  • 使用python生成随机数

    1
    2
    import random
    rand_list = [ random.randint(0, 100000) for i in range(100) ]

  • 将一个文件中特定的文件拷贝到另一个文件
    比如：将a文件中所有cpp文件拷贝到b文件 使用xargs实现

    1
    find a -name "*.cpp" | xargs -i cp {} b

    其中：-i表示find传递给xargs的结果由{}来代替

  • map和unordered_map的区别
    1. map内部是红黑树实现的，内部是有序的
    2. unordered_map内部实现了一个哈希表，无序的

  • 用vector接收用户输入参数

    1
    2
    3
    int main(int argc, char** argv) {
        std::vector<std::string> args(argv, argv + argc);
    }

  • grep显示匹配行之前之后n行

    1
    2
    3
    -A n 显示匹配行和之后的n行
    -B n 显示匹配行和之前的n行
    -C n 显示匹配行之后和之后各n行

  • mount硬盘

    1
    2
    lsblk : 查看当前磁盘的情况
    mount /dev/sdb /disk : 前面是磁盘位置，后面是挂载目录

  • 多线程不要使用cout
    多线程情况下使用cout << a << endl, <<中间可能被中断掉，建议使用printf

  • linux机器登录后很快自动退出
    解决方案：/etc/profile 中设置TIMEOUT 改大一些
  • 查看进程id对应的程序路径
    ll /proc/PID
  • 修改文件夹所有权
    chown -R username:username /xxxx/xxxx/xxx

  • shell计算绝对值

    1
    ${res#-}, 解释：${var#Pattern} Remove from $var the shortest part of $Pattern that matches the front end of $var

  • shell while忽略循环条件

    1
    2
    3
    while :; do
        command
    done

  • BeautifulSoup避免标签自动转小写, 使用xml方式打开

    1
    soup = BeautifulSoup(open("test.xml"), 'xml')

  • shell多行注释

    1
    2
    <<EOF
    EOF

  • shell相等判断

    1. 整型 : eq
    2. 字符串 : =

  • shell获取日期

    1
    2
    today=`date +%Y%m%d`
    yesterday=`date -d "1 days ago $today" +%Y%m%d`

  • 将前台任务变成后台任务 

    1
    2
    ctrl + z
    bg (将最近暂停的后台任务继续执行)

  • python dict 按照value排序

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    my_dict = {"a" : 15, "b" : 5, "c" : 7}
    #<type 'dict'>
    print type(my_dict)

    sort_dict = sorted(my_dict.items(), key = lambda item : item[1])
    #<type 'list'>
    print type(sort_dict)

    #[('b', 5), ('c', 7), ('a', 15)]
    print sort_dict

  • python好用的进度条工具

    1
    2
    3
    4
    from tqdm import tqdm
    my_list = [x for x in range(1000)]
    for i in tqdm(range(len(my_list))):
        time.sleep(0.1)

  • linux文件删除后空间仍没释放

    1
    2
    找到进程后，杀死进程
    sudo /usr/sbin/lsof | grep deleted

  • python调用shell

    1
    2
    3
    参数需要用%s传递
    import os
    os.system('cat %s | sort -u > %s' %(f1, f2))

发表于   |   分类于

在写c／c++程序的时候，经常要处理很多异常的情况，我们希望设计一个通用的判断错误的功能：

  1. 能够在函数内部返回值
  2. 能够打印log

define可以实现此功能，因为宏具有可以将代码展开的功能，因此能够实现return的功能。我们看个例子：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
#include <stdio.h>

#define ERROR_LOG(expr, ret, msg, args...) do{ \
if (expr) { \
    fprintf(stdout, msg, ## args); \
    return ret; \
    } \
} while(0)


int fun(int a) {
    ERROR_LOG(a < 5, -1, "a < 5 is forbidden! a= [%d] \n", a);
    return 0;
}

int main() {
    int res = fun(3);
    printf("res=[%d]\n", res);

    res = fun(6);
    printf("res=[%d]\n", res);
    return 0;
}

这段代码的输出是：
a < 5 is forbidden! a= [3]
res=[-1]
res=[0]

这样设计的好处是，宏直接在函数中展开，可以返回值，使得代码更加简洁
另外：

  1. 为什么要使用do while（0）请参考：@stackoverflow.
  2. define中，单个#表示使后面的参数变为字符串，而##表示两个参数拼接成字符串.

发表于   |   分类于

  • 1、git提交代码

    1
    2
    3
    4
    git status 查看需要add哪些文件
    git add 修改的文件
    git commit -m "comments" 
    git push（先输下这个命令，之后会提示正确的命令）

  • 2、git 新建本地分支并关联到远程分支

    1
    2
    3
    git checkout -b branch_name : 新建本地分支
    git push origin branch_name : 提交分支到远程仓库
    git branch --set-upstream branch-name origin/branch-name : 关联远程分支

  • 3、git回退到某个分支的特定版本

    1
    git reset --hard 版本号 ： 其中版本号可以通过git log命令查看

    这儿需要注意的是，这个命令会导致当前修改的文件丢失，需要对修改的文件进行备份

  • 4、git查看diff

    1
    2
    git diff version1 version2 ：一个分支的不同版本的diff, 注意中间没有冒号，这个和svn不一样
    git diff branch1..branch2 : 不同分支的diff

  • 5、git patch diff文件

    1
    2
    git diff xxx > diff.patch
    git apply diff.patch

    path后出错的解决方案：https://segmentfault.com/q/1010000008958193

  • 6、如何拉取单个文件？

    1
    git checkout 远程分支名  文件路径， 比如：git checkout branch_name  include/xxx/xxx.h，会将xxx.h文件拉取下来

  • 7、如何不commit代码，就能pull回主干代码？

    1
    2
    3
    git stash
    git pull
    git stash pop

    git stash, stash是储藏的意思，用于保存当前的工作点；试想，当在某个分支上开发，突然需要切换分支，但还不能提交正在进行的工作，需要对这些修改进行存储，需要使用的命令就是git stash。当需要恢复之前的工作点时候，需要使用命令：

    1
    2
    3
    git stash list
    git stash apply
    git stash apply stash@{2} // 如果有多个stash

  • 8、回滚单个文件

    1
    2
    3
    git log filename，找到要恢复的版本
    git reset 7f1a4c4055e93908818251596177bb476010d013 filename，这个时候能看到diff
    git checkout -- filename，丢弃工作区的修改
    • 9、修改文件后，不重复commit
      1
      2
      git add 修改的文件
      git commit --amend -m "注释", 其中amend的注释会作为最终的注释
k