FastText 做短文本分类,中文的话要做分词处理吗?

zlzyxd1年前 ⋅ 789 阅读

我看官网上的例子都是英文的数据集,如果是中文的话需要进行分词处理吗?

需要,因为fasttext是对term也就是分词的最小单位建立倒排表,倒排表的索引作为训练数据集建立深度模型,训练出的模型就是文本分类模型,fasttext是无法对中文数据直接进行建模的。

全部评论: 0

    相关推荐