如何评价RoBERTa? – 知乎

June 27, 2025

roberta 是bert 的一个完善版，相对于模型架构之类的都没有改变，改变的只是三个方面：预训练数据： BERT采用了BOOKCORPUS 和英文维基百科，总共16GB。而 RoBERTa采用了BOOKCORPUS + 英文维基百科+ CC-NEWS+OPENWEBTEXT+STORIES，总共160GB。

https://www.zhihu.com/question/337776337

如何评价RoBERTa? – 知乎 <body> <h1> Array ( [0] => 如何评价eoberta? – 知乎 [1] => 如何评价doberta? – 知乎 [2] => 如何评价foberta? – 知乎 [3] => 如何评价toberta? – 知乎 [4] => 如何评价5oberta? – 知乎 [5] => 如何评价4oberta? – 知乎 [6] => 如何评价riberta? – 知乎 [7] => 如何评价rkberta? – 知乎 [8] => 如何评价rlberta? – 知乎 [9] => 如何评价rpberta? – 知乎 [10] => 如何评价r0berta? – 知乎 [11] => 如何评价r9berta? – 知乎 [12] => 如何评价roverta? – 知乎 [13] => 如何评价ronerta? – 知乎 [14] => 如何评价roherta? – 知乎 [15] => 如何评价rogerta? – 知乎 [16] => 如何评价robwrta? – 知乎 [17] => 如何评价robsrta? – 知乎 [18] => 如何评价robdrta? – 知乎 [19] => 如何评价robrrta? – 知乎 [20] => 如何评价rob4rta? – 知乎 [21] => 如何评价rob3rta? – 知乎 [22] => 如何评价robeeta? – 知乎 [23] => 如何评价robedta? – 知乎 [24] => 如何评价robefta? – 知乎 [25] => 如何评价robetta? – 知乎 [26] => 如何评价robe5ta? – 知乎 [27] => 如何评价robe4ta? – 知乎 [28] => 如何评价roberra? – 知乎 [29] => 如何评价roberfa? – 知乎 [30] => 如何评价roberga? – 知乎 [31] => 如何评价roberya? – 知乎 [32] => 如何评价rober6a? – 知乎 [33] => 如何评价rober5a? – 知乎 [34] => 如何评价robertz? – 知乎 [35] => 如何评价roberts? – 知乎 [36] => 如何评价robertw? – 知乎 [37] => 如何评价robertq? – 知乎 [38] => 如何评价roberta? ᰫ 知乎 [39] => 如何评价roberta? &#u211; 知乎 [40] => 如何评价roberta? &#i211; 知乎 [41] => 如何评价roberta? ⏻ 知乎 [42] => 如何评价roberta? ᾯ 知乎 [43] => 如何评价roberta? &#8q11; 知乎 [44] => 如何评价roberta? &#8w11; 知乎 [45] => 如何评价roberta? ⁷ 知乎 [46] => 如何评价roberta? ” 知乎 [47] => 如何评价roberta? &#82q1; 知乎 [48] => 如何评价roberta? — 知乎 [49] => 如何评价roberta? &#821q; 知乎 ) </h1> </body>