1、如果遇到一次失败就放弃，那么就永远没有成功的一天。
2、参见：bert最后输出的字表示是使用固定的分类层进行分类的，为什么能区分一字多义?
3、如果想得到收获，就要奋斗。
4、为什么BERT选择mask掉15%这个比例的词，可以是其他的比例吗？
5、语义区分（The Distinction as Semantic）：事实就是发生了的事态，而观点则是人类对于那些事态的断言。观点总是某个人的观点。而事实则不是某个人的事实。
6、如果我有翅膀，我就可以如雨燕般自由飞翔。
7、 问世间情为何物？直叫人招架不住。（就是这么猛）
8、32 x 12 x 64 x 512(value_hidden) * 32 x 12 x 512 x 512 (权重矩阵) -> 32 x 12 x 512 x 64
9、在事实之间建立区分是相对困难的，也是不太必要的。如果学生将来不打算从事形而上学研究，那么教师不需要教会学生区分不同类型的事实。一定要区分的话，可以把事实分成可能世界W1中的事实，W2中的事实，W3中的事实……
10、 我们走得太快，灵魂都跟不上了。
11、 妈妈 给我一根牙签，我要撬地球
12、参见：为什么 Bert 的三个 Embedding 可以进行相加？
13、爱是生命的灯塔，照亮最深的黑夜，为内心带来光明。
14、观察与推论的区分（The Distinction as Observation vs. Inference）：事实就是观察到的。观点就是进一步推理出来的。
15、 放假时期：我醒了不代表我起床了，上学时期：我起床了不代表我醒了，这是多么痛的感悟啊！
16、可检验的和不可检验的区分（The Distinction as the Verifiable vs. the Not Verifiable）：事实是可以经有观察来检验的陈述，我们可以知道它们为真或为假。而观点则不能，我们只能知道有人赞同这些观点，有人不赞同。或者说，观点就是人们在表达赞同或者不赞同。
17、32 x 12 x 512 x 64(query_hidden) * 32 x 12 x 64 x 512(key_hidden) -> 32 x 12 x 512 x 512
18、 问世间情为何物？女的不是人，男的不是物。（谁也跑不了）
19、Transformer模型的decoder层存在mask，这个mask的作用是在翻译预测的时候，如“我爱你”，翻译成“I love you”，模型在预测love的时候是不知道you的信息，所以需r要把后面“you”的信息mask掉。但是bert只有encoder层，所以这个算是transformer模型的特征。
20、爱是长在我们心中的藤蔓，愿它四季都开满诗意的花。
21、那些过往的美好并没有远去，它们化作了人生旅途的纪念品，陪我们继续前行。
22、如果下雨了，就要记得带雨伞。
23、 人生，就是一种简单的轨迹，用心演绎每一个故事，那一种平淡的重复。
24、如果不珍惜水资源，地球就会变成一片荒漠。
25、如果我是一缕阳光，我就去照耀大地。
26、在BERT应用中，如何解决长文本问题？
27、 问世间情为何物？直叫人他妈的生死相许。（很接近正确答案了）
28、如果做人不讲信用，就会很难被他人信赖。
29、如果为了一棵大树，就会失去一片森林。
30、 问世间情为何物？直叫人问世间情为何物？（到底情为何物呢？）
31、参见：transformer编码层-Bert底层介绍
32、讲讲multi-head attention的具体结构
33、你用过什么模块？bert流程是怎么样的？
34、 问世间情为何物？愁坏古往今来骚人无数。（也有叫情圣的）
35、 问世间情为何物？不过一物降一物。（肯定有生活感受）
36、 问世间情为何物？佛说：废物！（可谓真言）
37、2+5=7，这的确是事实。至于它是不是张三或李四的观点，就需要去调查张三和李四的具体情况。如果张三或李四有基本的数学能力，其精神状态也比较正常，那么他们都会持有2+5=7这样的观点。
38、 问世间情为何物？直叫人吃饭想吐。（伤胃口了）
39、只要好好学习，就会有更好的前途。
40、如果我听哈哈哈话，此时我就不会拉肚子了。
41、一些人认为，在事实与观点之间作出区分之后，可以避免很多无谓的争执。毕竟，很多争执是观点之间的争执，而观点又无法被证明，因此每个人都有权持有自己的观点（everyoneis entitled to their opinion）。但笔者认为，这种对观点的看法是错误的，这种对事实一词的用法也是反常识的。理由如下：
42、为什么说ELMO是伪双向，BERT是真双向？产生这种差异的原因是什么？
43、事实与合理判断的区分（The Distinction as Fact vs. Reasoned Judgment）：观点就是人类对事实做出的解读和判断。对于同一个事实，人们可以有不同的解读和判断。
44、 上帝看见你口渴，创造了水；上帝看见你饿，创造了米；上帝看见你没有可爱的朋友，创造了我；然而他也看见这世界上没有白痴，顺便也创造你。
45、 问世间情为何物？直叫我天天摆酷。（够累的）
46、报导和倡导的区分（The Distinction as Reporting vs. Advocating）：事实是在报导发生了某个事情。观点是在倡导要去做某个事情。
47、ygtrece：BERT相关面试题（不定期更新）
48、时间随风而去，我心中的爱常存。
49、 问世间情为何物？直叫人红杏出墙。（红杏真是无孔不入）
50、Bert 采用哪种Normalization结构，LayerNorm和BatchNorm区别，LayerNorm结构有参数吗，参数的作用？
51、一个768的hidden向量，被映射成query， key， value。 然后三个向量分别切分成12个小的64维的向量，每一组小向量之间做attention。不妨假设batch_size为32，seqlen为512，隐层维度为768，12个head
52、 问世间情为何物？直叫人生死相许。（原装正解）
53、 问世间情为何物？直叫人忘了来时路。（被拐丢了）
54、如果明天下雨，就不去公园了。
55、知道分词模块：FullTokenizer做了哪些事情么？
56、如果运动时没有先考虑清楚防护措施，就会很容易出意外。
57、Bert中如何获得词意和句意？
58、 别以为你上课发短信我不知道、 有谁会对着自己的裤裆傻笑 。
59、 是不是帅哥，剪个平头就知道了。 是不是美女，卸了妆就知道了
60、 不要只看到成功时辉煌灿烂，却无视成功背后的挫折艰辛。
61、 爱情是没有逻辑可言的，各有各的姿态，你爱了，便是爱了。
62、 问世间情为何物？直叫人无处剃度。（色即是空）
63、 问世间情为何物？直叫和尚不想吃素。（花和尚）
64、 问世间情为何物？直叫我心里没数。（我们都没数）
65、 问世间情为何物？直叫我一无是处。（伤自尊了）
66、如果不好好学习，就没有好的工作，也就没有好的未来，好的人生。
67、如果人人都献出一点爱，世界就会变得更加美好。
68、BERT和Transformer Encoder的差异有哪些？做出这些差异化的目的是什么？
69、如果你带雨衣出门了，就不会淋到雨。
70、 问世间情为何物？直叫人乱闯马路。（受刺激了）
71、 -再怎么海誓山盟的约定,都不如有那帮陪你疯疯癫癫二到老的朋友.
72、珍惜生命中的美好事物，它们大都不可重复。
73、 问世间情为何物，只叫人生死相许。
74、BERT 的两个任务 Masked LM 任务和 Next Sentence Prediction 任务是先后训练的还是交替训练的
75、如果明天下大雨，爸爸妈妈就不能带我去公园玩了。