文章詳情頁

MySQL Shell import_table數據導入的實現

瀏覽：88日期：2023-10-18 07:19:22

目錄1. import_table介紹2. Load Data 與 import table功能示例2.1 用Load Data方式導入數據2.2 用import_table方式導入數據3. import_table特定功能3.1 多文件導入(模糊匹配)3.2 并發導入3.3 導入速率控制3.4 自定義chunk大小4. Load Data vs import_table性能對比5. 技術總結1. import_table介紹

上期技術分享我們介紹了MySQL Load Data的4種常用的方法將文本數據導入到MySQL,這一期我們繼續介紹另一款更加高效的數據導入工具,MySQL Shell 工具集中的import_table,該工具的全稱是Parallel Table Import Utility,顧名思義,支持并發數據導入,該工具在MySQL Shell 8.0.23版本后,功能更加完善, 以下列舉該工具的核心功能

基本覆蓋了MySQL Data Load的所有功能,可以作為替代品使用默認支持并發導入(支持自定義chunk大小) 支持通配符匹配多個文件同時導入到一張表(非常適用于相同結構數據匯總到一張表) 支持限速(對帶寬使用有要求的場景,非常合適) 支持對壓縮文件處理支持導入到5.7及以上MySQL2. Load Data 與 import table功能示例

該部分針對import table和Load Data相同的功能做命令示例演示,我們依舊以導入employees表的示例數據為例,演示MySQL Load Data的綜合場景

數據自定義順序導入數據函數處理自定義數據取值

## 示例數據如下[root@10-186-61-162 tmp]# cat employees_01.csv'10001','1953-09-02','Georgi','Facello','M','1986-06-26''10003','1959-12-03','Parto','Bamford','M','1986-08-28''10002','1964-06-02','Bezalel','Simmel','F','1985-11-21''10004','1954-05-01','Chirstian','Koblick','M','1986-12-01''10005','1955-01-21','Kyoichi','Maliniak','M','1989-09-12''10006','1953-04-20','Anneke','Preusig','F','1989-06-02''10007','1957-05-23','Tzvetan','Zielinski','F','1989-02-10''10008','1958-02-19','Saniya','Kalloufi','M','1994-09-15''10009','1952-04-19','Sumant','Peac','F','1985-02-18''10010','1963-06-01','Duangkaew','Piveteau','F','1989-08-24'## 示例表結構 10.186.61.162:3306 employees SQL > desc emp;+-------------+---------------+------+-----+---------+-------+| Field | Type | Null | Key | Default | Extra |+-------------+---------------+------+-----+---------+-------+| emp_no | int | NO | PRI | NULL | || birth_date | date | NO | | NULL | || first_name | varchar(14) | NO | | NULL | || last_name | varchar(16) | NO | | NULL | || full_name | varchar(64) | YES | | NULL | | -- 表新增字段,導出數據文件中不存在| gender | enum(’M’,’F’) | NO | | NULL | || hire_date | date | NO | | NULL | || modify_date | datetime | YES | | NULL | | -- 表新增字段,導出數據文件中不存在| delete_flag | varchar(1) | YES | | NULL | | -- 表新增字段,導出數據文件中不存在+-------------+---------------+------+-----+---------+-------+2.1 用Load Data方式導入數據

具體參數含義不做說明,需要了解語法規則及含義可查看系列上一篇文章<MySQL Load Data的多種用法>

load data infile ’/data/mysql/3306/tmp/employees_01.csv’into table employees.empcharacter set utf8mb4fields terminated by ’,’enclosed by ’'’lines terminated by ’n’(@C1,@C2,@C3,@C4,@C5,@C6)set emp_no=@C1, birth_date=@C2, first_name=upper(@C3), last_name=lower(@C4), full_name=concat(first_name,’ ’,last_name), gender=@C5, hire_date=@C6 , modify_date=now(), delete_flag=if(hire_date<’1988-01-01’,’Y’,’N’);