RoBERTa: 捍卫BERT的尊严 – 知乎 – 知乎专栏

June 15, 2025

作者对BERT的预训练进行了仔细的评估，包括超参数和训练集大小的配置，发现BERT其实没有很充分地训练，从而提出了更好地训练BERT的方法，称为RoBERTa，它超过了在BERT之后发表的所有post-BERT方法的效果。方法其实很简单：同时作者总结了一下文章的主要贡献：展示了一组重要的BERT的设计选择和新的训练策略，使模型在下游任务上取得更好的效果。模型细节. RoBERTa同样使用了Adam，β1为0.9，β2为0.999，ε=1e-6，L2 weight decay为0.01，全部层的dropout为0.1，线性激活为GELU。

https://zhuanlan.zhihu.com/p/149249619

RoBERTa: 捍卫BERT的尊严 – 知乎 – 知乎专栏 <body> <h1> Array ( [0] => eoberta: 捍卫bert的尊严 – 知乎 – 知乎专栏 [1] => doberta: 捍卫bert的尊严 – 知乎 – 知乎专栏 [2] => foberta: 捍卫bert的尊严 – 知乎 – 知乎专栏 [3] => toberta: 捍卫bert的尊严 – 知乎 – 知乎专栏 [4] => 5oberta: 捍卫bert的尊严 – 知乎 – 知乎专栏 [5] => 4oberta: 捍卫bert的尊严 – 知乎 – 知乎专栏 [6] => riberta: 捍卫bert的尊严 – 知乎 – 知乎专栏 [7] => rkberta: 捍卫bert的尊严 – 知乎 – 知乎专栏 [8] => rlberta: 捍卫bert的尊严 – 知乎 – 知乎专栏 [9] => rpberta: 捍卫bert的尊严 – 知乎 – 知乎专栏 [10] => r0berta: 捍卫bert的尊严 – 知乎 – 知乎专栏 [11] => r9berta: 捍卫bert的尊严 – 知乎 – 知乎专栏 [12] => roverta: 捍卫bert的尊严 – 知乎 – 知乎专栏 [13] => ronerta: 捍卫bert的尊严 – 知乎 – 知乎专栏 [14] => roherta: 捍卫bert的尊严 – 知乎 – 知乎专栏 [15] => rogerta: 捍卫bert的尊严 – 知乎 – 知乎专栏 [16] => robwrta: 捍卫bert的尊严 – 知乎 – 知乎专栏 [17] => robsrta: 捍卫bert的尊严 – 知乎 – 知乎专栏 [18] => robdrta: 捍卫bert的尊严 – 知乎 – 知乎专栏 [19] => robrrta: 捍卫bert的尊严 – 知乎 – 知乎专栏 [20] => rob4rta: 捍卫bert的尊严 – 知乎 – 知乎专栏 [21] => rob3rta: 捍卫bert的尊严 – 知乎 – 知乎专栏 [22] => robeeta: 捍卫bert的尊严 – 知乎 – 知乎专栏 [23] => robedta: 捍卫bert的尊严 – 知乎 – 知乎专栏 [24] => robefta: 捍卫bert的尊严 – 知乎 – 知乎专栏 [25] => robetta: 捍卫bert的尊严 – 知乎 – 知乎专栏 [26] => robe5ta: 捍卫bert的尊严 – 知乎 – 知乎专栏 [27] => robe4ta: 捍卫bert的尊严 – 知乎 – 知乎专栏 [28] => roberra: 捍卫bert的尊严 – 知乎 – 知乎专栏 [29] => roberfa: 捍卫bert的尊严 – 知乎 – 知乎专栏 [30] => roberga: 捍卫bert的尊严 – 知乎 – 知乎专栏 [31] => roberya: 捍卫bert的尊严 – 知乎 – 知乎专栏 [32] => rober6a: 捍卫bert的尊严 – 知乎 – 知乎专栏 [33] => rober5a: 捍卫bert的尊严 – 知乎 – 知乎专栏 [34] => robertz: 捍卫bert的尊严 – 知乎 – 知乎专栏 [35] => roberts: 捍卫bert的尊严 – 知乎 – 知乎专栏 [36] => robertw: 捍卫bert的尊严 – 知乎 – 知乎专栏 [37] => robertq: 捍卫bert的尊严 – 知乎 – 知乎专栏 [38] => roberta: 捍卫vert的尊严 – 知乎 – 知乎专栏 [39] => roberta: 捍卫nert的尊严 – 知乎 – 知乎专栏 [40] => roberta: 捍卫hert的尊严 – 知乎 – 知乎专栏 [41] => roberta: 捍卫gert的尊严 – 知乎 – 知乎专栏 [42] => roberta: 捍卫bwrt的尊严 – 知乎 – 知乎专栏 [43] => roberta: 捍卫bsrt的尊严 – 知乎 – 知乎专栏 [44] => roberta: 捍卫bdrt的尊严 – 知乎 – 知乎专栏 [45] => roberta: 捍卫brrt的尊严 – 知乎 – 知乎专栏 [46] => roberta: 捍卫b4rt的尊严 – 知乎 – 知乎专栏 [47] => roberta: 捍卫b3rt的尊严 – 知乎 – 知乎专栏 [48] => roberta: 捍卫beet的尊严 – 知乎 – 知乎专栏 [49] => roberta: 捍卫bedt的尊严 – 知乎 – 知乎专栏 [50] => roberta: 捍卫beft的尊严 – 知乎 – 知乎专栏 [51] => roberta: 捍卫bett的尊严 – 知乎 – 知乎专栏 [52] => roberta: 捍卫be5t的尊严 – 知乎 – 知乎专栏 [53] => roberta: 捍卫be4t的尊严 – 知乎 – 知乎专栏 [54] => roberta: 捍卫berr的尊严 – 知乎 – 知乎专栏 [55] => roberta: 捍卫berf的尊严 – 知乎 – 知乎专栏 [56] => roberta: 捍卫berg的尊严 – 知乎 – 知乎专栏 [57] => roberta: 捍卫bery的尊严 – 知乎 – 知乎专栏 [58] => roberta: 捍卫ber6的尊严 – 知乎 – 知乎专栏 [59] => roberta: 捍卫ber5的尊严 – 知乎 – 知乎专栏 [60] => roberta: 捍卫bert的尊严 ᰫ 知乎 – 知乎专栏 [61] => roberta: 捍卫bert的尊严 &#u211; 知乎 – 知乎专栏 [62] => roberta: 捍卫bert的尊严 &#i211; 知乎 – 知乎专栏 [63] => roberta: 捍卫bert的尊严 ⏻ 知乎 – 知乎专栏 [64] => roberta: 捍卫bert的尊严 ᾯ 知乎 – 知乎专栏 [65] => roberta: 捍卫bert的尊严 &#8q11; 知乎 – 知乎专栏 [66] => roberta: 捍卫bert的尊严 &#8w11; 知乎 – 知乎专栏 [67] => roberta: 捍卫bert的尊严 ⁷ 知乎 – 知乎专栏 [68] => roberta: 捍卫bert的尊严 ” 知乎 – 知乎专栏 [69] => roberta: 捍卫bert的尊严 &#82q1; 知乎 – 知乎专栏 [70] => roberta: 捍卫bert的尊严 — 知乎 – 知乎专栏 [71] => roberta: 捍卫bert的尊严 &#821q; 知乎 – 知乎专栏 [72] => roberta: 捍卫bert的尊严 – 知乎 ᰫ 知乎专栏 [73] => roberta: 捍卫bert的尊严 – 知乎 &#u211; 知乎专栏 [74] => roberta: 捍卫bert的尊严 – 知乎 &#i211; 知乎专栏 [75] => roberta: 捍卫bert的尊严 – 知乎 ⏻ 知乎专栏 [76] => roberta: 捍卫bert的尊严 – 知乎 ᾯ 知乎专栏 [77] => roberta: 捍卫bert的尊严 – 知乎 &#8q11; 知乎专栏 [78] => roberta: 捍卫bert的尊严 – 知乎 &#8w11; 知乎专栏 [79] => roberta: 捍卫bert的尊严 – 知乎 ⁷ 知乎专栏 [80] => roberta: 捍卫bert的尊严 – 知乎 ” 知乎专栏 [81] => roberta: 捍卫bert的尊严 – 知乎 &#82q1; 知乎专栏 [82] => roberta: 捍卫bert的尊严 – 知乎 — 知乎专栏 [83] => roberta: 捍卫bert的尊严 – 知乎 &#821q; 知乎专栏 ) </h1> </body>