如何批量上传CSV文件数据到MySql表中?使用 LOAD DATA 的一种非常快速的方法
大家好,我们又见面了啊~本文的内容中将会涉及到等等。如果你正在学习相关知识,欢迎关注我,以后会给大家带来更多相关文章,希望我们能一起进步!下面就开始本文的正式内容~
? 简介
您还在使用“for”或“while”循环来迭代行并将它们插入数据库吗?您还在编写单独的代码来读取 .csv 文件并将其上传到 mysql 数据库吗?
用mysql提供的“load data”语句对线性逻辑说“不”。准备好更改代码以最大程度地减少代码行并大幅提高性能。
mysql 提供了 load data 语句,这是一种非常高速的方法,可以用很少的代码从文本文件中读取数据并将其插入表中。
? 什么是 load data infile 语句?
根据 mysql 的官方文档,load data 语句用于以非常快的方式从文件中读取数据,您可以通过一个查询将此数据插入表中,而不是多次访问数据库多次使用“insert into”查询。
mysql还提供了一个语句-> “select…into outfile”,它的作用与”load data”的作用完全相反,就是从表中读取数据到文件。
mysql提供的mysqlimport实用程序内部调用服务器上的load data语句来导入数据。
? 如何使用它?
above gist snippet shows the generic load data statements. all the available options are mentioned in the code above.
lets now focus on a simple example of simply reading a .csv file and inserting it’s rows into a compatible table.
a simple example :
load data infile ‘data.csv’ into table db.my_table
a birds-eye example with all essential options :
上面的要点片段显示了通用负载数据语句。上面的代码中提到了所有可用的选项。
现在让我们关注一个简单的示例,简单地读取 .csv 文件并将其行插入到兼容的表中。
一个简单的例子:
load data infile ‘data.csv’ into table db.my_table
包含所有基本选项的鸟瞰示例:
不用说,您的 csv 文件应该正确格式化才能使此语句发挥作用。
瞧,使用上面的语句,你的超过 10 万行的 .csv 将在几秒钟内导入到你的表中。
现在,一些重要的事情需要注意:
上述语句在mysql级别运行,因此源文件从客户端复制到服务器以便导入它们。
这会带来一些安全问题,我们需要确保使用此代码时客户端-服务器连接的安全。
在mysql 8.0中,使用local的能力默认设置为false。由于您的服务器和客户端应配置为允许 local,因此有些人可能会遇到权限错误。
如果出现权限错误,我们需要通过启用
local_infile
:
来覆盖它
SET GLOBAL local_infile = true;
注意:覆盖此标志并不是安全解决方案,而是承认接受风险,您可以参考此文档以获取更多信息。
?? 结论 mysql load data 语句用于在非常短的时间内读取文件。
您可以将此代码与任何后端api一起使用来提供源文件。
源文件可以是任何文本文件,我们在本例中使用.csv。
load data local
通过mysql将源文件复制到您的服务器,因此需要在服务器端实施安全措施。
mysqlimport
实用程序内部使用load data语句。
您可以通过在语句中添加ignore 1 lines来忽略csv中的标头。#??# #??##??##??# #??# ? 参考 #??# #??#官方文档#??# #??# #??#
本篇关于《如何批量上传CSV文件数据到MySql表中?使用 LOAD DATA 的一种非常快速的方法》的介绍就到此结束啦,但是学无止境,想要了解学习更多关于数据库的相关知识,请关注主机宝贝公众号!
版本声明 本文转载于:dev.to 如有侵犯,请联系 删除