借着bert 的东风，NLPer 后面的几年也可谓顺风顺水，因为后续科研界中的DistilBERT、TinyBERT、RoBERTa、ALBERT 可以直接拿来到工业界中试一试，后面几年的工作量全仰仗这些bert 的升级衍生品了。

https://www.zhihu.com/question/433756594