关于linux和Windows不同环境下文本编码的问题

在学习python基础教程第十三章数据库时书上有个例子，让我写了一个python脚本用来将ascii格式的纯文本文件导入数据库，脚本代码如下：

1. import sqlite3
   
2. 
   
3. def convert(value):
   
4.     if value.startswith('~'):
   
5.         return value.strip('~')
   
6.     if not value:
   
7.         value = '0'
   
8.     return float(value)
   
9. 
   
10. conn = sqlite3.connect('food.db')
    
11. curs = conn.cursor()
    
12. 
    
13. curs.execute('''
    
14. CREATE TABLE food(
    
15. 
    
16. id TEXT PRIMARY KEY,
    
17. desc    TEXT,
    
18. water   FLOAT,
    
19. kcal    FLOAT,
    
20. protein FLOAT,
    
21. fat     FLOAT,
    
22. ash     FLOAT,
    
23. carbs   FLOAT,
    
24. fiber   FLOAT,
    
25. sugar   FLOAT
    
26. )
    
27. ''')
    
28. query = 'INSERT INTO food VALUES (?,?,?,?,?,?,?,?,?,?)'
    
29. field_count = 10
    
30. for line in open('ABBREV.txt'):
    
31.     fields = line.split('^')
    
32.     vals = [convert(f) for f in fields[:field_count]]
    
33.     curs.execute(query, vals)
    
34. 
    
35. conn.commit()
    
36. conn.close()
    

复制代码

然后再linux下运行发生错误:

1. Traceback (most recent call last):
   
2.   File "importdata.py", line 31, in <module>
   
3.     for line in open('ABBREV.txt'):
   
4.   File "/usr/lib/python3.7/codecs.py", line 322, in decode
   
5.     (result, c**umed) = self._buffer_decode(data, self.errors, final)
   
6. UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe9 in position 5194: invalid continuation byte
   

复制代码

说是编码错误？到底是哪里的编码不对？在windows环境下执行代码没有任何问题，谢谢各位！

windows下是gbk，linux下默认是utf8。windows下ABBREV.txt另存为utf8编码的文件再试试。或者linux下open文件的时候指定编码。

sheeboard 发表于 2019-7-5 11:20
windows下是gbk，linux下默认是utf8。windows下ABBREV.txt另存为utf8编码的文件再试试。或者linux下open文 ...

windows下格式是ANSI的或者utf-8运行都没有问题，linux以ascii编码打开也没有问题，问题就是用python运行的时候会出现编码错误，我不知道怎么在运行程序的时候指定文本的编码格式

pikefreeman 发表于 2019-7-5 12:18
windows下格式是ANSI的或者utf-8运行都没有问题，linux以ascii编码打开也没有问题，问题就是用python运行 ...

就是open()里加encoding='utf-8'，utf-8这里用你文件实际的编码。

sheeboard 发表于 2019-7-5 13:00
就是open()里加encoding='utf-8'，utf-8这里用你文件实际的编码。

问题解决了，非常感谢！