Monthly Archives: November 2018


科罗拉多滑雪旅

1. 定旅店后 要确认收到邮件 否则要打电话去确认 2. 定租车后,需要向订车人要confirmation,并确定租车的地点正确,驾驶员驾照没过期,否则hertz租不出来(denver) 3. 科罗拉多州交管局网站 查实时路况信息:cotd.org 周四 11.22 从denver开到estate park,路上遇到elk悠哉游哉地过马路,所有人停车礼让,一片和谐景象。 登落基山,风很大,吹来漫天的扬雪。还没有东北冷。夜宿Estate Park 周五11.23 从Estate Park驱车三小时,抵达狄龙水库钓鱼。路上的天气瞬息万变,过了tunnel之后的那段雪路很滑,很难开。 湖面还没结冰,原计划的冰钓变成了水钓。船长Randy,副手Brandy从小就跟着爸爸、爷爷钓鱼。 钓鱼的方式分两种,一种是把鱼钩拖在船后130英尺的地方,船慢慢地开,塑料鱼形的诱饵就在水里摆动,像是真鱼一样。 另一种是把船停牢,竖直地把鱼钩垂到湖底,然后一上一下地抖动鱼竿,勾引鱼上钩。 这里的鱼饵竟然只是塑料做的颜色鲜艳的小鱼,而且上面还没有气味。并不是国内的那种好吃的蚯蚓。下杆时我还在犯嘀咕:就凭这玩意儿能钓到鱼吗?事实证明是能钓到的,而且还能钓到很多。 鱼钩甩到湖里,水下的世界与你仅凭一根细细的鱼线牵连着。我不知道水面下在发生着什么,只是知道鱼竿抖动后,收起鱼线便是一份收获。可能水面下有个背着鱼筐的圣诞老人吧,他把鱼儿轻轻地挂在钩上,然后拽三下鱼线,提醒你快递到了,感恩节快乐。 惊喜的是,住的酒店竟然有厨房。佳佳和超男直接把鱼烤了。特别新鲜美味。 滑keystone的夜场,雪不是很厚,但是特别爽!缆车总长12分钟,滑下来要20分钟。觉得自己的s形更纯熟了。Demo ski没觉察出来有多厉害,觉得下次会继续租Premium的。 周六 11.24 大雪 周日 11.25 晴 滑得很爽很开心,能明显感觉到自己的进步。看了youtube的parallel ski的教程,教的很好。关键是移动重心,从左脚到右脚,再右脚到左脚。克服换重心时的短暂不稳定带来的恐惧。


BERT 与 Attention – 深度学习

BERT与语义理解发展史 最初,有了word embedding思想。它是想把词映射到onehot vector,再把onehot vector映射到一个向量空间。类似于feature提取。 如何训练Word embedding 起初,人们用语言模型来训练word embedding。语言模型,说白了,就是给出上文,让你预测当前的词是什么。 最简单的训练方法,就是把word映射到onehot vector,再把onehot vector映射到向量空间,再加一些neural networks,最后softmax输出一个onehot vector,作为当前值的预测。 后来有了word2vector,它用当前词的上下文,来预测当前词,也即CBOW(continuous Bag-of-words model)。 但是word2vector无法解决多义词的问题,它没有语境信息。 ELMO ELMO给出了语境问题的解决方案。它用了两层双向向的LSTM。不仅能输出一个单词embedding,还能输出单词在句子中的句法特征,和语义特征。 ELMO的缺点,LSTM抽取信息能力弱于Transformer GPT 用Transformer做单向信息抽取。 GPT的缺点:没有用双向(正向、反向)抽取   BERT 双向,transformer抽取语义。 Transformer很可能在未来取代RNN与CNN成为信息抽取的利器。 zhuanlan.zhihu.com/p/49271699   Attention注意力模型的强大应用 起初,我们用encoder,decoder来encode语句到语义上, 在decode语义到下游任务中。 比如:输入是中文,输出是英文,这就是翻译系统。 输入是文章,输出时摘要,这就是摘要系统。 输入是问题,输出是答案,这就是QA问答系统,对话机器人。 输入是图片,输出是文字,这就是图片自动描述系统。 输入是语音,输出是文字,这就是ASR系统。   Encoder-decoder的缺陷:所有的输入词的权重都是一样的,没有区别。 Attention模型 Soft Attention 以自动翻译为例,在翻译到目标文本的每个词时,encoder出来的语义Ci都会跟着变化,因为source里的每个单词对当前要翻译的词的贡献度不同 先举个例子说明什么是。以“汤姆追逐杰瑞” “Tom chase Jerry”为例。 在翻译“chase”时,chase所占的注意力(0.6)自然比其他的单词”tom – […]


记第一次跳伞

13000英尺(四千米),两个人,一顶伞。 最吓人的不是跳出舱门的那一瞬,而是签免责协议的时候。 “跳伞是一项高风险运动,你理解并同意放弃以下法律权限:发生任何意外,不起诉这里的工作人员、公司本身、飞机制造商、降落伞制造商、叠伞人……同时,你明白任何保险都不担保你跳伞所产生的意外。”总之是把生产线上各个环节的人都免除责任了。 大晴天,无风。对跳伞来说,这是绝佳的天气。 排队的过程中,我看到十几顶降落伞在天上盘旋,那感觉像极了吃鸡的开场。 我们中午也吃的泰国鸡,一天整个一个吃鸡之旅。 跳伞的场地叫Skydive California,在Tracy。小镇很平静祥和,物价也比硅谷便宜许多。 场地很小,只有一个简易跑道,用来起飞,和一片草地,用来着陆。周围就是果树林。 飞机很小,机舱里两条板凳。坐满了跳伞的人。爬升到一万三千英尺,教练绑在我后面。自己什么也不用做,他刷的一下就带我跳了下去。 自由加速带来的不适感很快就消除,甚至没感觉到,就进入了匀速下落阶段。最感觉不适的是呼吸的困难。我必须大口大口喘气。手臂也都麻木了,可能是紧张。 看着远处不会害怕,看着脚下就吓人了。会跳伞的人说,低空跳伞是最难的,一是开伞时间短,二是离地面近,那种地面撞上来的感觉,很有压迫感。 感觉跳伞和滑雪有点像。费了大劲上去,不一会儿就下来了。人生中有一次这种体验还是很值得的,就是我很不喜欢把命拴在单点故障上,比如那个伞包。   了解得知,伞包是有两个伞的,一个主伞,一个副伞。主伞失效的话,开副伞。副伞失效的话,还有一个自动开伞装置,降落到一定高度自动开伞。跳伞者胳膊上绑着高度计,看着高度开伞。不能目视,因为很难,且不准。 跳伞者很多戴着头盔,其实不是为了保护头部,而是为了挡风。因为自由落体时,噪声和风很大,吹着很难受。毕竟如果出现意外的话,头盔也没什么保护作用。