Neural Machine Translation of Rare Words with Subword Units

基本信息

• 标题：Neural Machine Translation of Rare Words with Subword Units
• 发表：arXiv:1508.07909
• 日期：2015-08
• 相关主题：Tokenizer、Data Mix

TODO

• 阅读论文原文，整理 BPE 在 neural machine translation 中处理 rare words / open vocabulary 的动机。
• 回填 subword units 如何在词级与字符级之间折中，以及它对 LLM tokenizer 设计的长期影响。
• 补充 BPE 在多语言、代码和数学文本中的优势与边界。