读取数据出错该怎么处理

sheeboard 发表于 2021-12-23 13:50
我试过了，应该没错，最小用idxmin(),遍历文件用glob.glob,具体细节自己去调整吧。
顺便讲一下，iloc是索引 ...

我的代码,哪里错的，请帮我改改：
path = 'C:/Users/Administrator/Desktop/stock333/stock_hfq'
def get_stock_code_list_in_one_dir(path):
"""
从指定文件夹下，导入所有csv文件的文件名
:param path:
:return:
"""
stock_list = []

# 系统自带函数os.walk，用于遍历文件夹中的所有文件
for root, dirs, files in os.walk(path):
    if files:  # 当files不为空的时候
        for f in files:
            if f.endswith('.csv'):
                stock_list.append(f[:9])
        #print(files)

return sorted(stock_list)
stockk_list = get_stock_code_list_in_one_dir(path)
all_stock=pd.DataFrame()
for code in stockk_list:
data = pd.read_csv(path + '/%s.csv' % code, header=0,encoding='gbk')
data['trade_date']=pd.to_datetime(data['trade_date'].astype('string'))
data.sort_values(by = 'trade_date',inplace=True)
df=pd.read_csv("C:/Users/Administrator/Desktop/bbb.csv")
print(data)

res_df = pd.DataFrame()
res_list = []
for index, row in df.iterrows():
    _start = row['date_start']
    _end = row['date_end']
    tmp = data.loc[(data['trade_date']>_start)&(data['trade_date']<_end)]
    print(tmp)
    res_list.append(tmp)
   
if res_list:
    res_df = pd.concat(res_list)

res_df
res_df.to_csv("C:/Users/Administrator/Desktop/ppp.csv",mode='a', index=False)
支持(0)反对(0)回复 | baijianyun12345 | 园豆：192 (初学一级) | 2021-12-21 11:16 | 修改  删除
我用2只股票数据来实验的结果，前面都对
000001.SZ,2019-12-14,2020-03-23,1326.4034
000001.SZ,2020-08-23,2020-12-01,2226.5124
000560.SZ,2020-02-12,2020-05-22,15.9701
000560.SZ,2020-02-15,2020-05-25,15.9701
算000560就不对了，第三行441股票代码和时间就对不上了，应该算000560.SZ,2020-02-12了可还是000001，你的我也试试再回你，感谢你的回复
247,000001.SZ,2020-11-27,2220.96,2220.96,2152.1102,2187.6456,2165.436,22.20959999999968,1.0256
246,000001.SZ,2020-11-30,2209.8552,2318.6822,2175.4303,2192.0875,2187.6456,4.44190000000026,0.203
441,000001.SZ,2020-02-13,1605.876,1624.4347,1594.9591,1599.3258,1612.4261,-13.100299999999834,-0.8125
440,000001.SZ,2020-02-14,1610.2427,1652.8187,1604.7843,1640.8101,1599.3258,41.48429999999985,2.5939
439,000001.SZ,2020-02-17,1641.9018,1677.9275,1629.8932,1677.9275,1640.8101,37.11740000000009,2.2621

问一下，你最终结果要什么样子，是所有数据放一个文件，还是一个tscode放一个文件或两个文件？

sheeboard 发表于 2021-12-23 16:09
问一下，你最终结果要什么样子，是所有数据放一个文件，还是一个tscode放一个文件或两个文件？
...

首先说以下stock_hfqaa是股票数据文件，bbb是我想提取stock_hfqaa里文件数据的位置数据，如
000001.SZ,2019-12-14,2020-03-23,1326.4034
000001.SZ,2020-08-23,2020-12-01,2226.5124
000560.SZ,2020-02-12,2020-05-22,15.9701
000560.SZ,2020-02-15,2020-05-25,15.9701
000001第一行是最小值第二行是最大值前100天开始和结束时间，我想以bbb位置文件得到stock_hfqaa里每支股票的最小值和最大值前100天开始和结束这段时间的数据，而不是一只。
最后当然文件分开放好一些，一个股票一个表，条理清除点

参考

1. 
   
2. import pandas as pd
   
3. import glob
   
4. import os
   
5. 
   
6. os.chdir('path/stock_hfqqa')  
   
7. 
   
8. summ=pd.DataFrame()
   
9. 
   
10. for file in glob.glob('*.csv'):
    
11.     fname='.'.join(file.split('.')[0:2])
    
12.    
    
13.     df=pd.read_csv(file,dtype={'trade_date':'str'})
    
14.     df['trade_date']=pd.to_datetime(df['trade_date'])
    
15.     df['year']=df['trade_date'].dt.year
    
16.    
    
17.     min_row=df[df['year']==2020]['close'].idxmin()
    
18.     end_date_min=df.iloc[min_row]['trade_date']
    
19.     start_date_min=end_date_min-pd.Timedelta(days=100)
    
20.     mindf=df.loc[(df['trade_date']>=start_date_min) & (df['trade_date']<=end_date_min)]
    
21.     tempdf=mindf.head(1).copy()
    
22.     tempdf['date_start']=start_date_min
    
23.     summ=summ.append(tempdf,ignore_index=True)
    
24.     filemin=fname+'_min'+'.xlsx'
    
25.     mindf.to_excel(filemin,index=False)
    
26.    
    
27.     max_row=df[df['year']==2020]['close'].idxmax()
    
28.     end_date_max=df.iloc[max_row]['trade_date']
    
29.     start_date_max=end_date_max-pd.Timedelta(days=100)
    
30.     maxdf=df.loc[(df['trade_date']>=start_date_max) & (df['trade_date']<=end_date_max)]
    
31.     tempdf=maxdf.head(1).copy()
    
32.     tempdf['date_start']=start_date_max
    
33.     summ=summ.append(tempdf,ignore_index=True)   
    
34.     filemax=fname+'_max'+'.xlsx'
    
35.     maxdf.to_excel(filemax,index=False)
    
36.    
    
37. summ=summ[['ts_code','date_start','trade_date','close']]
    
38. summ.columns=['ts_code','date_start','date_end','close']
    
39. summ.to_excel('bbbb.xlsx',index=False)
    

复制代码

sheeboard 发表于 2021-12-23 19:55
参考

谢谢老师，用直接求值的方式得出结果，万分感谢，如果可以的话，还是想从bbb读取数据确定我需要的data股票数据，毕竟我的思路是这么来的。

参考

1. target=pd.read_csv('bbbb.csv')   
   
2. for code,data in target.groupby('ts_code'):
   
3.     file=code+'.csv'
   
4.     df=pd.read_csv(file,dtype={'trade_date':'str'})
   
5.     df['trade_date']=pd.to_datetime(df['trade_date'])
   
6.     tempdf=pd.DataFrame()
   
7.     for index,row in data.iterrows():
   
8.         star=row['date_start']
   
9.         end=row['date_end']  
   
10.         datadf=df.loc[(df['trade_date']>=start) & (df['trade_date']<=end)]
    
11.         tempdf=tempdf.append(datadf,ignore_index=True)
    
12.         tempdf.to_excel(code+'.xlsx',index=False)
    

复制代码

bbbb.csv文件里最好加个列，标明是max还是min的数据,方便后面查看或分文件。

sheeboard 发表于 2021-12-24 10:23
参考

bbbb.csv文件里最好加个列，标明是max还是min的数据,方便后面查看或分文件。 ...

这怎么加啊，一只股票就两行数据，一行最大一行最小，除非把他们分开，一列最大，一列最小还有结束时间，具体怎么做还没想好，我是用的signal.argrelextrema（）求的最大最小值

sheeboard 发表于 2021-12-24 10:23
参考

bbbb.csv文件里最好加个列，标明是max还是min的数据,方便后面查看或分文件。 ...

没看到上面的，谢谢了，我试试看。。。。