SentencePiece

基本信息

• 标题：SentencePiece
• 发表：arXiv:1808.06226
• 日期：2018-08
• 相关主题：Tokenizer、Data Mix

TODO

• 阅读论文原文，整理 SentencePiece 的 language-independent tokenization 设计。
• 回填 unigram language model、BPE、whitespace encoding、normalization 与 detokenization 机制。
• 补充 SentencePiece 对多语言预训练和无空格语言的意义。