BERT与语义理解发展史 最初，有了word embedding思想。它是想把词映射到onehot vector，再把onehot vector映射到一个向量空间。类似于feature提取。 如何训练Word embedding 起初，人们用语言模型来训练word embedding。语言模型，说白了，就是给出上文，让你预测当前的词是什么。 最简单的训练方法，就是把word映射到onehot vector，再把onehot vector映射到向量空间，再加一些neural networks，最后softmax输出一个onehot vector，作为当前值的预测。 后来有了word2vector，它用当前词的上下文，来预测当前词，也即CBOW(continuous Bag-of-words model)。 但是word2vector无法解决多义词的问题，它没有语境信息。 ELMO ELMO给出了语境问题的解决方案。它用了两层双向向的LSTM。不仅能输出一个单词embedding，还能输出单词在句子中的句法特征，和语义特征。 ELMO的缺点，LSTM抽取信息能力弱于Transformer GPT 用Transformer做单向信息抽取。 GPT的缺点：没有用双向（正向、反向）抽取   BERT 双向，transformer抽取语义。 Transformer很可能在未来取代RNN与CNN成为信息抽取的利器。 zhuanlan.zhihu.com/p/49271699   Attention注意力模型的强大应用 起初，我们用encoder，decoder来encode语句到语义上， 在decode语义到下游任务中。 比如：输入是中文，输出是英文，这就是翻译系统。 输入是文章，输出时摘要，这就是摘要系统。 输入是问题，输出是答案，这就是QA问答系统，对话机器人。 输入是图片，输出是文字，这就是图片自动描述系统。 输入是语音，输出是文字，这就是ASR系统。   Encoder-decoder的缺陷：所有的输入词的权重都是一样的，没有区别。 Attention模型 Soft Attention 以自动翻译为例，在翻译到目标文本的每个词时，encoder出来的语义Ci都会跟着变化，因为source里的每个单词对当前要翻译的词的贡献度不同 先举个例子说明什么是。以“汤姆追逐杰瑞” “Tom chase Jerry”为例。 在翻译“chase”时，chase所占的注意力(0.6)自然比其他的单词”tom – […]

我是怎样看待信贷的（credit and debt） 借贷创造了信用与负债。信用是给出的当下的购买力。负债是给出的未来会连本带利地返还的承诺。 社会过少的信贷与过多的信贷都不好。前者无法激发社会的生产潜力，后者产生坏账。 评判一笔贷款的好坏在于，这笔贷款所创造的生产力，或者说收入，能否支付贷款的本金与利息。 巨额负债的风险大小取决于执政者能否把坏账的损失平摊到社会中的每个人身上（通过货币政策与财政政策），并且分散到多个年头（比如15年）中。这又进一步取决于两点。1. 负债是否是用本国货币计价的。2.执政者是否有影响借出者与贷款者行为的能力。 美元是国际货币，负债均以美元结算。 为什么债务危机不可避免？ 人性的短视（也有政府任期的缘故），人们心理的弱点。 为什么债务危机具有周期性？ 每个人在借钱时，就创造了一个债务周期。你现在花的钱比你挣得钱多，当你还钱时，你花的钱一定得小于你挣的钱，因为你要还债。这就是一个周期。 当债务扩张时（可以理解为美联储扩表），资产价格上升。 当政府举债，大兴土木，修建fixed investments，real estate 和infrastructure时，就业向好，资产价格升值。但当这些工程建完之后，没有项目了，工人失业，经济下滑。出路在哪里？一带一路，去非洲搞基建。或者发动战争，战争消耗物资。 这种工程建完，经济下滑的情况在新兴市场很普遍。此外，新兴市场往往劳动力便宜，有出口竞争力。然而，新兴市场的劳动力工资会不断增加，导致他们的产品价格上涨，逐渐失去国际竞争力。参考中国与日本。 当债务曲线达到顶端时，欠债人无法偿还所有债务，不得不违约或债务重组，并且危机过后，之前借债的企业和个人也不会像危机之前那样大手大脚花钱了。  

如何创造电影感 冯淦 摄像组组长，主讲人 – 沈阳 – palo alto – houzz 郑又齐 – 宣传组组长 刘冰 – 技术组 达生 – 技术组 负责大屏幕，录吉他 黄世阳 – 宣传组，摄影 崔yi4然 = 彩排花絮 俊颍 – 设计师 – 技术组、宣传组 – 天津 什么是电影感 展示一张电影截图，电影是2.35:1 尺寸，单反16：9，叙事感。光线，布灯，这与自然光不同，给人以陌生感。 电影感就是观众习惯了的电影体验。 怎么创造电影感 参数（帧数，快门） 如果以60帧每秒的速度拍视频的话，快门速度只能是1/120或1/100，每帧的进光量就少了。（因为各行扫描，无法做到1/60的快门速度） Photography is truth，the cinema is truth 24 times per second. […]

知乎上有人问，”命运是什么？“。最高赞的答案写道”命乃弱者借口，运乃强者谦辞。“意思是，失败者把自己的失败归咎于外因，命中注定；成功者把自己的成功解释成好运气。它暗示人们要自我奋斗，不能怨天尤人。 我曾无比认同这个答案。但《社会学的邀请》让我对这个问题有了完全不同的解读：一个人的出身极大影响了他一生所能到达的高度。父母给了你先天的经济资源、社会资源和文化资源。成功者运气好，投胎在上层阶级，平步青云。失败者命运糟，出身卑微，寒门难出贵子。 人的一生中通过后天奋斗实现阶级跃迁是可能的，但是是极其困难的。每个人仍应该奋斗，努力向上。但在努力的同时，也要对阶级固化的现象有客观清晰的认识。 《乌合之众》通篇只讲了一件事”群体无意识，领袖带节奏“。但这本书内容庞杂，包罗万象。我无法用一篇结构严谨的文章把所有的知识点都流畅地串起来。在此仅就几个社会热点话题，结合书中的知识与自身经历，谈谈看法。 经济 生产力和生产关系决定上层建筑 马克思的论述，翻译成英文是”The substructure (base) determines the superstructure. The way we organize production, or the way we organize our labor power, provides the foundation for all else in society”. (Economy Determines Society, p70)而不是简单的”经济基础决定上层建筑”。它并不是指人们应该先闷声发大财，再发展文化、教育等其他社会结构。它是说，生产力和生产关系决定了上层建筑（法律，文化）的形成，这些上层建筑会反过来强化目前的生产力和生产关系。(维基百科)这里只讲关系，没有先后之别。 为什么要扶贫？ 为了社会稳定。否则底层人民揭竿而起，王侯将相宁有种乎。社会贫富差距带来价值观的撕裂，中国、美国、巴西的贫富差距已经很大了（知乎链接） 为什么资本主义仍然存在，并且发展良好？ 资本主义在不断改良，比如员工持股的股份制，比如反垄断法。马克思批判的是他那个时代的资本主义。现在的资本主义已经和当时很不一样了。 教育 素质教育客观上对穷人孩子有利还是有弊？ 素质教育对穷人有弊。富人孩子和穷人孩子能接触到的教育资源不同。（详见北京精华学校的李永乐与石国鹏老师）发展素质教育后，富人的孩子有资源去参加更多的兴趣班与社会实践。穷人的孩子只能放养。富人孩子更优秀，穷人孩子更平庸。寒门再难出贵子。(Unequal Resource Distribution, p164) 一个解决办法是允许私人办学，对富人进行精英教育。但这带来的是教育资源分配的更大的不公平。 为什么社会重理轻文？ 国家需要大量的掌握基础科学技术，服从命令，能从事生产的工程师；而不是思考制度、反思历史、想着变革的思想家。以经济建设为中心的大旗挥舞着，说得极端一点，教育是统治者维护统治的工具。(Education […]

音响培训 Xingyuan Lai – Master of Music Technology Different Kinds of Audio Engineering Studio Recording, Mixing, Mastering(母带，把各个乐器的音轨合到一起后，再调左右声道的过程) Sound Editing Post-production HiFi高保真 Live Sound Engineering Objectives of Live Sound Engineering There is sound – 有声音 No feedback – 没有啸叫，啸叫的频率与系统的谐振频率有关，跟环境也有关。 good quality – 音质好 （什么是不好的音质？） Sound Reinforcement System Inputs microphone instrument computer […]

时间:9/30/2018 下午2:00-5:00 地点：Faculty Club，Stanford 经历：两次高考，连续创业，慈善公益 总结：本分·平常心；做对的事情，把事情做对；积攒Stop Doing List；发现自己做错了，就马上纠正，这样你的损失是最小的；探索事物的本源。 主持人问：What matters you most？And why？这是斯坦福商学院的著名面试题（？） 段：人的各个阶段有不同的最重要的事。像我现在最重要的就是家庭了。花很多时间在家庭上面。你们没有人有疑问吧？（观众笑） 谈企业经营 段：我一直在说要“做对的事情，和把事情做对”。Stop Doing List也是这样，你要知道什么事情是不能做的，以及怎样的做法是错误的。至于什么是对的事情，需要你自己去悟，我无法给你答案。Stop Doing List也是需要你不断地积攒，没有捷径可走。我的健身教练跟我讲，健身的short cut就是让你get lost的路，没有捷径。 有很多人，明知道自己在做错事，但为什么还去做呢？因为短期利益的诱惑太大了。比如吸烟，几乎人人都知道是错的吧？但戒掉的人还是少数。 举个例子，Oppo和Vivo没有销售部。所有客户来拿货，都是一个价格。并不是你拿1台多少钱，你拿100台多少钱，没有（这个差别）。这省了我们很多精力。能让我们把精力放到产品本身上面。苹果也没有销售的，一样的道理。但这种转换是很难的，我们花了将近三年才转换到这种模式上。转换之前谈生意是很辛苦的，那时我们公司还很小，一天就要吃四顿饭去六次桑拿。（观众笑）那我们做大了之后怎么办呢？我们看得很长远。 再比如，我们广告中不说假话。我们做CVD的时候，那时清晰度是350线，DVD是500线。当时一个竞争厂商说他们家的CVD能达到500线，明显虚假广告嘛。当时我们的销售把广告都印好了，说我们的产品也能到500线，我给制止了。我们不能撒谎，但我们也不能说我们是350线，那不就被别人比下去了么。于是广告改为“我们的CVD大幅提高了VCD的清晰度”。只在说明书里写上“我们是350线”。但没有人看说明书的嘛（观众笑）。我说的意思是，我们不能撒谎。 关于公司，我们公司不举债，这样才能平稳度过寒冬。我们（Oppo，Vivo）都有大量的资金储备，你看苹果也一样。这样企业才是健康的。我们曾经想过贷款，但银行让我们把品牌压上（Oppo，Vivo），我们想这样风险太大了。我说你现在不借我，之后你会来求我借的。结果后来银行真的主动找我们，想让我们把钱存在那里。 我们也不做代工，沃尔玛找过我们做代工。我说你们能给我们合理的利润吗？他们说“maybe not”。那还谈什么。做代工的话，利润率是很低的（？）。 追问：如果公司不举债，在市场上行时，岂不是输于加杠杆扩张的企业？ 段：你要看十年二十年，我们稳健的企业最终会存活下来。加杠杆的企业现在是否还活着？ 问：您的敢为天下后如何理解? 段：我指的是产品上要敢为天下后。举个例子，有哪个产品“敢为天下先”最后成功的？要确定用户有这个需求，再去做。我们做手机也是这样。 问：您的营销经验？ 段：其实营销和广告不重要。营销和广告有用，但不是决定因素。决定因素是你的产品要好。广告只能达到你的20%的用户，剩下的80%都是这20%的用户用好了，口碑推荐出去的。酒香不怕巷子深，就是这个道理。 问：如何构建企业文化？ 段：企业文化就是三点： mission – 你的公司为什么存在？ vision – 你的公司要走到哪里？ core value – 你的核心价值观是什么？ 这个可以是善待员工、诚信等等。 至于mission和vision，是要你自己去探索的。 至于构建企业文化，你就要和员工聊，每天聊，每月聊，就影响了。我们讲同道中人，创立企业的时候也要找和文化契合的合伙人。一个企业的文化一旦建立之后，就很难改变了，即使CEO换掉也很难（改变文化）。我当时看一个企业合并的例子，两家企业的文化很不一样，那新CEO就很难办，没法融合。 谈巴菲特与投资 […]