找回密码
 立即注册

扫一扫,访问微社区

QQ登录

只需一步,快速开始

查看: 2146|回复: 0

[求助] 请教大家有关SnowNLP分词、词性标注、情感分析的问题

1

主题

1

帖子

1

积分

贫民

积分
1
fd5556 发表于 2020-8-1 00:48:12 | 显示全部楼层 |阅读模式
大家好,小弟目前在使用网路上常见的SnowNLP
然后我在网路上看到以下网址可供下载这工具:
https://github.com/isnowfy/snownlp

在这个工具我看到可以使用分别以下三个程式码执行,包括分词词性标注情感分析

以下是他们提供的分词程式码
  1. from snownlp import seg
  2. seg.train('data.txt')
  3. seg.save('seg.marshal')
复制代码
以下是他们提供的词性程式码
  1. from snownlp import tag
  2. tag.train('199801.txt')
  3. tag.save('tag.marshal')
复制代码
以下是他们提供的情感分析程式码
  1. from snownlp import sentiment
  2. sentiment.train('neg.txt', 'pos.txt')
  3. sentiment.save('sentiment.marshal')
复制代码
以上三个程式可以分别在分词词性标注情感分析进行训练,可以自行添加更多分词数据和词性数据,但是我目前遇到一些问题未解决
我参加以下网址进行训练
https://www.itread01.com/content/1541222413.html

一开始的时候添加少量是可以顺利运行这个训练程式,但是当我多添加几万笔需要训练的资料时却遇到以下问题,所以我无法成功的训练成功,错误信息如下:
以下是词性标注的错误信息:
  1. PS C:\ProgramData\Anaconda3\Lib\site-packages\snownlp\tag> python .\tag_execute_tools.py
  2. Traceback (most recent call last):
  3.   File ".\tag_execute_tools.py", line 8, in <module>
  4.     tag.train('199801.txt')
  5.   File "C:\ProgramData\Anaconda3\lib\site-packages\snownlp\tag\__init__.py", line 27, in train
  6.     tagger.train(data)
  7.   File "C:\ProgramData\Anaconda3\lib\site-packages\snownlp\utils\tnt.py", line 89, in train
  8.     for word, tag in sentence:
  9. ValueError: too many values to unpack (expected 2)
  10. PS C:\ProgramData\Anaconda3\Lib\site-packages\snownlp\tag>
复制代码
以下是分词的错误信息:
  1. PS C:\ProgramData\Anaconda3\Lib\site-packages\snownlp\seg> python .\seg_execute_tools.py
  2. Traceback (most recent call last):
  3.   File ".\seg_execute_tools.py", line 5, in <module>
  4.     seg.train('data.txt')
  5.   File "C:\ProgramData\Anaconda3\lib\site-packages\snownlp\seg\__init__.py", line 35, in train
  6.     segger.train(fname)
  7.   File "C:\ProgramData\Anaconda3\lib\site-packages\snownlp\seg\seg.py", line 35, in train
  8.     self.segger.train(data)
  9.   File "C:\ProgramData\Anaconda3\lib\site-packages\snownlp\seg\y09_2047.py", line 68, in train
  10.     for word, tag in sentence:
  11. ValueError: too many values to unpack (expected 2)
  12. PS C:\ProgramData\Anaconda3\Lib\site-packages\snownlp\seg>
复制代码
以上问题我不是很懂为什么会发生,希望有使用过着套件的人可以帮帮我,或是你们按照程式所写的错误给我一些修改建议,谢谢你们
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表