如何理解 BERT 的 NSP 训练目标？ – 知乎

August 4, 2025

最近 RoBERTa 又给了 NSP 一锤，说去掉 NSP 更好。他们猜测 BERT 在做 NSP 的隔离实验的时候，可能是只去掉了 NSP loss，但是没改训练数据的生成过程（训练数据中还有两个 segment 不相邻的情况）。

https://www.zhihu.com/question/331076024

如何理解 BERT 的 NSP 训练目标？ – 知乎 <body> <h1> Array ( [0] => 如何理解 vert 的 nsp 训练目标？ – 知乎 [1] => 如何理解 nert 的 nsp 训练目标？ – 知乎 [2] => 如何理解 hert 的 nsp 训练目标？ – 知乎 [3] => 如何理解 gert 的 nsp 训练目标？ – 知乎 [4] => 如何理解 bwrt 的 nsp 训练目标？ – 知乎 [5] => 如何理解 bsrt 的 nsp 训练目标？ – 知乎 [6] => 如何理解 bdrt 的 nsp 训练目标？ – 知乎 [7] => 如何理解 brrt 的 nsp 训练目标？ – 知乎 [8] => 如何理解 b4rt 的 nsp 训练目标？ – 知乎 [9] => 如何理解 b3rt 的 nsp 训练目标？ – 知乎 [10] => 如何理解 beet 的 nsp 训练目标？ – 知乎 [11] => 如何理解 bedt 的 nsp 训练目标？ – 知乎 [12] => 如何理解 beft 的 nsp 训练目标？ – 知乎 [13] => 如何理解 bett 的 nsp 训练目标？ – 知乎 [14] => 如何理解 be5t 的 nsp 训练目标？ – 知乎 [15] => 如何理解 be4t 的 nsp 训练目标？ – 知乎 [16] => 如何理解 berr 的 nsp 训练目标？ – 知乎 [17] => 如何理解 berf 的 nsp 训练目标？ – 知乎 [18] => 如何理解 berg 的 nsp 训练目标？ – 知乎 [19] => 如何理解 bery 的 nsp 训练目标？ – 知乎 [20] => 如何理解 ber6 的 nsp 训练目标？ – 知乎 [21] => 如何理解 ber5 的 nsp 训练目标？ – 知乎 [22] => 如何理解 bert 的 bsp 训练目标？ – 知乎 [23] => 如何理解 bert 的 msp 训练目标？ – 知乎 [24] => 如何理解 bert 的 jsp 训练目标？ – 知乎 [25] => 如何理解 bert 的 hsp 训练目标？ – 知乎 [26] => 如何理解 bert 的 nap 训练目标？ – 知乎 [27] => 如何理解 bert 的 nzp 训练目标？ – 知乎 [28] => 如何理解 bert 的 nxp 训练目标？ – 知乎 [29] => 如何理解 bert 的 ndp 训练目标？ – 知乎 [30] => 如何理解 bert 的 nep 训练目标？ – 知乎 [31] => 如何理解 bert 的 nwp 训练目标？ – 知乎 [32] => 如何理解 bert 的 nso 训练目标？ – 知乎 [33] => 如何理解 bert 的 nsl 训练目标？ – 知乎 [34] => 如何理解 bert 的 ns- 训练目标？ – 知乎 [35] => 如何理解 bert 的 ns0 训练目标？ – 知乎 [36] => 如何理解 bert 的 nsp 训练目标？ ᰫ 知乎 [37] => 如何理解 bert 的 nsp 训练目标？ &#u211; 知乎 [38] => 如何理解 bert 的 nsp 训练目标？ &#i211; 知乎 [39] => 如何理解 bert 的 nsp 训练目标？ ⏻ 知乎 [40] => 如何理解 bert 的 nsp 训练目标？ ᾯ 知乎 [41] => 如何理解 bert 的 nsp 训练目标？ &#8q11; 知乎 [42] => 如何理解 bert 的 nsp 训练目标？ &#8w11; 知乎 [43] => 如何理解 bert 的 nsp 训练目标？ ⁷ 知乎 [44] => 如何理解 bert 的 nsp 训练目标？ ” 知乎 [45] => 如何理解 bert 的 nsp 训练目标？ &#82q1; 知乎 [46] => 如何理解 bert 的 nsp 训练目标？ — 知乎 [47] => 如何理解 bert 的 nsp 训练目标？ &#821q; 知乎 ) </h1> </body>