大卫的博客 | D Blog

ZooKeeper: Wait-free coordination for Internet-scale systems

paper reading

这篇论文比较硬核，我已经看了三遍了，还是有些细节没有弄清楚。我先把我所理解的东西写出来吧，以便以后要用到时候回忆和勘误。zookeeper作为分布式系统中协调者的角色出现，它提供几个基础的api，供使用者自己搭建系统中协调者的业务。Zookeeper强调wait-free属性，带来极高的性能提升相比于blocking实现。为了实现协调者功能，Zookeeper保证了client FIFO o...

Posted by Dawei on October 18, 2018

leetcode2

fuck this world

dp and dp Perfect Squares and Coin Change

Posted by Dawei on October 14, 2018

CS224N Coreference Resolution

lecture study

在语言里，经常会出现多个名词指代实际世界里同一个实体，将指向同一个实体的名词筛选出来就是Coreference Resolution task。这在分析语句，语义分析非常有用，这篇博客就介绍一下在深度学习时代几种出色的模型，mention-pair、mention-rank，reinforcement learning。 Mention Pair将共指任务变成两个mention之间的连接关系...

Posted by Dawei on October 14, 2018

Reinforcement Learning and NLP

project thinking

这篇博客简单对我现在所学习的强化学习知识做一个梳理。强化学习是个很大的话题，这里我只是介绍一下最基础的算法，可以看成对自己这方面知识的梳理。这里介绍下强化学习的基本组成部分，value iteration，policy iteration和DQN reinforcement learning introduction 强化学习具有很强的通用性，这个概念很早就提出来了，随着深度学习的兴起，深...

Posted by Dawei on October 12, 2018

Natural Language Parsing Model

project thinking

句法分析在NLP是基础研究点了，在一些下游任务比如情感分析、信息抽取都具有较大的作用。句法分析通过给出句子中的句法结构或者依存关系，是指给出主谓宾等成分和单词之间的修饰关系。举个栗子，我爱你和你爱我这两句话，如果在原始的词袋模型里，表达出来的意义是完全一样的，但是结合句法就完全不同了。在CS224N里介绍了Dependency Parsing，但是在之后的TreeLSTM也提到了Consti...

Posted by Dawei on October 12, 2018

Dynamic Memory Networks for Natural Language Processing

paper reading

许多NLP task都可以看成question answer(QA)问题，情感分析，词性标注，都可以当作一个问题问出来，然后模型给出答案。论文给出Dynamic Memory Networks，可以在一定程度上看成NLP的通用模型。论文主要分为四个模块：输入模块、问题模块、Episodic Memory模块、回答模块。接下来我会依次介绍这四个模块。输入模块，这里分为单个句子和多个句子。单个...

Posted by Dawei on October 10, 2018

Generative Adversarial Nets

paper reading

GAN作为深度学习生成模型领域新秀，从2014年从Ian goodfellow提出后，逐渐受到人们关注成为生成模型的主流，这里有一份别人梳理的GAN领域的论文，有兴趣的小伙伴可以看一看。这篇博客主要讲述原始GAN论文和Wasserstein GAN这两篇论文。 Generative Adversarial Nets 生成对抗网络，顾名思义分为两块，生成和对抗网络。生...

Posted by Dawei on October 9, 2018

CS224N Tree Recursive Neural Networks and Constituency Parsing

lecture study

对于自然语言处理，之前介绍了RNN和CNN两种模型，RNN符合人类的习惯，序列化encode和decode模型，但是不适合GPU的并行化计算，CNN非常适合并行化计算，但是会丢失order信息，即使embed position信息还是不如RNN捕捉得好，而且CNN参数过多不好训练。RNN还有一个缺陷就是不能encode中间短语，只能从开头到结尾，导致最后一个单词在encode输出的hidde...

Posted by Dawei on October 8, 2018

Convolutional Sequence to Sequence Learning

paper reading

概述本篇论文是Facebook AI Research使用纯CNN网络来进行机器翻译，很棒的思路，同时还diss了一下LSTM的思路（我觉得是冲着Google去的，结果Google过一段时间就放出attention is all you need，哈哈），关于传统RNN的缺陷我在这篇博客里提过了，就不多说了。主体框架也是包括encoder和decoder两部分构成，但是两部分都是由相同的l...

Posted by Dawei on October 4, 2018

Using Paxos to Build a Scalable, Consistent, and Highly Available Datastore

paper reading

Abstract Spinnaker是IBM和linkedin的学者提出的一个大规模分布式数据仓库，提供key-value存储格式和get-put api，在读取的时候提供强一致性和时间轴一致性。整个系统建立在PAXO协议上（可以替换为Raft协议），因此具有极强的失败容忍性。传统的数据库副本模式是master、slave模式，很像之前博客介绍vmware VM冗余模式，和vmare有相同...

Posted by Dawei on October 3, 2018