python用pandas读csv文件写到mysql的方法

汇总一下,自己最近在使用python读写csv存数据库中遇到的各种问题。 上代码:

reload(sys)
sys.setdefaultencoding(‘utf-8’)
host = ‘127.0.0.1’
port = 3306
db = ‘world’
user = ‘root’
password = ‘123456’
con = mysqldb.connect(host=host,charset=”utf8″,port=port,db=db,user=user,passwd=password)
try:
df = pd.read_sql(sql=r’select * from city’, con=con)
df.to_sql(‘test’,con=con,flavor=’mysql’)
except exception as e:
print(e.message)

不出意外的话会打印出一句:database flavor mysql is not supported 在stackoverflow上找到了答案:the flavor ‘mysql’ is deprecated in pandas version 0.19.

我们换一种方式:

reload(sys)
sys.setdefaultencoding(‘utf-8’)
host = ‘127.0.0.1’
port = 3306
db = ‘world’
user = ‘root’
password = ‘123456’
engine = create_engine(str(r”mysql+mysqldb://%s:” + ‘%s’ + “@%s/%s”) % (user, password, host, db))
try:
df = pd.read_sql(sql=r’select * from city’, con=engine)
df.to_sql(‘test’,con=engine,if_exists=’append’,index=false)
except exception as e:
print(e.message)

运行下,ok,可以存入了index参数表示是否把dataframe的index当成一列来存储,一般来说是不需要的,所以赋值为false

现在看似问题都解决了,但是还有一个小问题。 假如我有一个含有中文的csv文件(本人window): name age class 小明 15 一年级 小张 18 三年级

engine = create_engine(str(r”mysql+mysqldb://%s:” + ‘%s’ + “@%s/%s”) % (user, password, host, db))
try:
df = pd.read_csv(r’c:\users\xx\desktop\data.csv’)
print(df)
df.to_sql(‘test’, con=engine, if_exists=’append’, index=false)
except exception as e:
print(e.message)

打印处理以后乱码了。我们在读csv时候最好指定编码,我的本地gbk:

df = pd.read_csv(r’c:\users\xx\desktop\data.csv’,encoding=’gbk’)

我们可以正常的打印信息了,但是又报错了,错误如下:

unicodeencodeerror: ‘latin-1’ codec can’t encode characters in position 0-1: ordinal not in range(256)

还是编码问题,原因呢,我们存到数据库时候没有指定编码。解决这个问题时候也是被坑了一把,网上说什么的都有。过程就不说了,看代码:

engine = create_engine(str(r”mysql+mysqldb://%s:” + ‘%s’ + “@%s/%s?charset=utf8”) % (user, password, host, db))

解决了

相关文章:

python数据分析之真实ip请求pandas详解

通过python中的pandas库对cdn日志进行分析详解

用python的pandas框架操作excel文件中的数据教程

以上就是python用pandas读csv文件写到mysql的方法的详细内容,更多请关注 第一php社区 其它相关文章!

Posted in 未分类

发表评论