大卫的博客 | D Blog

CS224N CNN in NLP

lecture study

Convolutional Neural Network经常被用在compute vision里，用来逐步提取局部特征，直到整体，在nlp里面也可以用CNN解决一些问题。众所周知，CNN一大特点，就是可以并行化计算，比RNN序列化模型快到不知道哪里去了。而且针对RNN模型还有个问题就是无法捕捉没有前置文字的短语，换句话说，就是在encode时候，只能从开始到结束，无法...

Posted by Dawei on September 28, 2018

Race condition and data race

project thinking

ok，在又看了几篇博客后感觉可以写一下了，像这种博文一般是自己老是拎不清，但是重复遇到的问题，以后也会多写一些这些文章。这篇博客的主要思路来自于这篇blog,我也加入一些自己的理解进去。首先介绍下race condition和data race的定义。 race condition is a flaw that occurs when the timing or ordering o...

Posted by Dawei on September 28, 2018

Attention Is All You Need

paper reading

概述论文主要提出用于机器翻译新的模型。机器翻译分为encode和decode部分，encoder对source sentence进行编码，在RNN一般是最后输出的hidden state。decode是对encode部分输出的hidden state进行串行解码，后来引入attention机制，对encode中每个hidden state都引入计算。CNN用于机器...

Posted by Dawei on September 17, 2018

CS224N Gated recurrent units and further topics in NMT

lecture study

概述这篇博客主要针对上一篇”CS224N neural machine translation and models with attention”遗留的问题进行展示和解决，在Deep Learning领域，关于准确度和计算量是个tradeoff的结果，而具体到NMT领域，则是vocabulary size大小的选择问题，太大能够将更多的单词划进模型里，从而出现更少的Unknown wor...

Posted by Dawei on September 12, 2018

CS224N neural machine translation and models with attention

lecture study

本文简单说一下NMT的机理和各种fancy model、trick。主要分析Sequence to Sequence Learning with Neural Networks、Neural Machine Translation By Jointly Learning to Align and Translate and Effective Approaches to Attention-...

Posted by Dawei on September 7, 2018

In Search of an Understandable Consensus Algorithm (Extended Version)

paper reading

Raft是分布式系统中的共识算法，属于分布式系统里的基础，通过共识算法才能保证服务器失败容忍，即只要majority服务器还存活，系统就可以一直运行下去。Raft属于Paxo针对理解性的改良版，曾经我花了一上午时间看Paxo协议，结果只记得将军、间谍之类的东西了（误，这篇Raft写得更为详尽和清晰。由于Raft涉及太多细节性内容，在一篇博文很难解释清楚，所以本篇文章只将论文框架写出，具体的内...

Posted by Dawei on September 3, 2018

The Design of a Practical System for Fault-Tolerant Virtual Machines

paper reading

概述这篇论文是VMware公司对虚拟机失败容忍处理方面的介绍性论文。它通过对虚拟机实现一个（或多个）备份进行失败容忍，这套系统在VMware自己的软件上运用，但在发表论文时只能在单处理器上运行，针对design的细节论文给予比较细致的解答。实现失败容忍服务手段主要有两种：第一种将主服务器上改变的状态全部发送到backup的机器上（包括CPU、memory、I/O device），这对带宽...

Posted by Dawei on August 30, 2018

Compiler and Interpreter

programming language

哎呀呀，这篇博文已经快翘了一个月了，是时候补上了。首先先表示对于这方面我只是个菜鸟，这篇文章不是具体将compiler和interpreter具体细节，主要是纠正自己以前错误的想法，大家想深入学习，需要啃些大部头了，看以后有没有时间或者需求，自己再往里面钻吧。 A one-sentence sermon: Interpreter versus compiler is a feature...

Posted by Dawei on August 20, 2018

The Google File System

paper reading

文件系统需求将部件失败看作正常事件而不是异常存储在GFS上的文件相比于传统操作系统大了很多，所以在文件分块大小需要重新考虑大多数文件被修改时是通过append，而不是覆写已存在的数据结合真实应用需求设计文件系统，应用需要文件系统支持设计假设构建在一般商用硬件上，需要一直监控，捕捉错误，容忍失败和恢复系统存储一定数量的大文件。大文件大小在100MB...

Posted by Dawei on July 31, 2018

Closure Summary

programming language

Closure Summary 何为closure closure中文名闭包，直接解释就是在支持闭包的语言中，函数并不只是那些code，是包括code和environment的结合体，闭包需要词法作用域的支持，也就是函数内部引用的自由变量是在函数定义的变量，而不是运行时的变量。这样闭包就由函数代码和函数定义时的环境组成。 environment 可以看到闭包的精髓就在于环境如何保存，具体...

Posted by Dawei on July 29, 2018