经常会踫到这样的场景需求：批量向MySQL数据库插入数据，显然手工INSERT成千上万条数据是不现实的，所以自己写了这个shell脚本来处理。
1 具体需求
shell脚本批量插入10万条数据到MySQL中，其中对应表唯一索引是用户uid。因此在程序循环1万次数时，每次都使uid自增1就行了。
2 脚本代码
鉴于数据量比较大，我们的shell脚本需要考虑MySQL执行INSERT的效率，所以采用了对次数取模拼接多个VALUES的值来实现。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43 | #!/bin/bash
# FileName: batchinsertmysqlshell1.sh
# Description: 使用shell脚本批量插入数据到MySQL中
# Simple Usage: sh batchinsertmysqlshell1.sh
# (c) 2020.04.15 vfhky https://typecodes.com/linux/batchinsertmysqlshell1.html
# https://github.com/vfhky/shell-tools/blob/master/mysql/batchinsertmysqlshell1.sh
# mysql db name.
db_name="gamedata"
# mysql table name.
table_name="test_user_skin"
beginTime=$(date "+%Y-%m-%d %H:%M:%S")
echo "==== ${beginTime} ===="
# logic begin.
index=0
# uid in [3000000,4999999].
for uid in {3000000..4999999}
do
if [ `expr ${index} % 1000` -ne 0 ]; then
insertValues+=",("${uid}",'2020-04-09 08:08:08')"
index=$(( $index + 1 ))
else
index=1
if [ -n "$insertValues" ]; then
#echo "${insertValues}"
# INSERT INTO `gamedata`.`test_user_skin`(`id`, `uid`, `due_time`, `create_time`, `update_time`, `extend`) VALUES (1156, 1007200, '2020-04-09 10:11:11', '2020-04-07 10:11:11', '2020-04-07 10:11:11', '');
mysql -h11.36.122.55 -P6302 -utestuser -p123qwe -e "INSERT INTO ${db_name}.${table_name}(uid,due_time) values ${insertValues}"
fi
insertValues="("${uid}",'2020-04-09 08:08:08')"
fi
done
if [ -z "${insertValues}" ]; then
echo "empty."
else
mysql -h11.36.122.55 -P6302 -utestuser -p123qwe -e "INSERT INTO ${db_name}.${table_name}(uid,due_time) values ${insertValues}"
fi
endTime=$(date "+%Y-%m-%d %H:%M:%S")
echo "==== ${endTime} ===="
|
3 脚本管理
目前已经把这个脚本放在Github了，地址是https://github.com/vfhky/shell-tools，以后脚本的更新或者更多好用的脚本也都会加入到这个工程中。
Comments »