解决方案:1. 先将文件分割成多个小文件,每个文件大小不超过1M,然后分别对每个小文件进行词频统计;2. 将每个小文件的词频统计结果合并,得到总的词频统计结果;3. 对总的词频统计结果进行排序,取出频数最高的100个词。
解决方案:
1. 先将文件分割成多个小文件,每个文件大小不超过1M,然后分别对每个小文件进行词频统计;
2. 将每个小文件的词频统计结果合并,得到总的词频统计结果;
3. 对总的词频统计结果进行排序,取出频数最高的100个词。