找回密码
 立即注册

扫一扫,访问微社区

QQ登录

只需一步,快速开始

查看: 3731|回复: 0

[求助] Python 如何分批次导入 100W 条 mysql 数据

4

主题

5

帖子

5

积分

贫民

积分
5
wangyu 发表于 2017-4-22 19:34:45 | 显示全部楼层 |阅读模式
问题 1 :现在我需要使用 Python 脚本导入 100W 条 mysql 数据,如果要每一次插入 1W 条数据(即每1W条数据提交1次),共插入 100 次,在批量操作中不开启事务, python 脚本应该如何来写?

问题 2 :对于下面的语句,想问一下 conn.commit()是不是把上面的 sql 语句做为事务来提交?
#coding=utf-8import MySQLdb
conn = MySQLdb.connect(host='localhost',port = 3306,user='admin',passwd='admin',db='google')

cur = conn.cursor()

try:

      create_tb_cmd='''create table if not exists tmp.Video_2017bak(id int(10) unsigned,asset_id int(10) unsigned,company_id int(10),);'''

      cur.execute(create_tb_cmd)

finally:

      insert_tb_cmd='''insert ignore into tmp.Video_2017bak (select * from google.Video where created_at < date_sub(now(), interval 2 year));'''

      delete_tb_cmd='''delete from google.Video where created_at < date_sub(now(), interval 2 year);'''

      cur.execute(insert_tb_cmd)

      cur.execute(delete_tb_cmd)
      cur.close()

      conn.commit()

      conn.close()



回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表