sed在包含的字符串前加內(nèi)容 mysql中怎樣對大批量級的數(shù)據(jù)查詢進(jìn)行優(yōu)化?
mysql中怎樣對大批量級的數(shù)據(jù)查詢進(jìn)行優(yōu)化?MySQL一直支持正則匹配,但直到MySQL 8.0才支持正則替換。以前這種場景要么在MySQL端處理,要么在應(yīng)用端取出數(shù)據(jù)進(jìn)行處理。例如,我想用dble
mysql中怎樣對大批量級的數(shù)據(jù)查詢進(jìn)行優(yōu)化?
MySQL一直支持正則匹配,但直到MySQL 8.0才支持正則替換。以前這種場景要么在MySQL端處理,要么在應(yīng)用端取出數(shù)據(jù)進(jìn)行處理。
例如,我想用dble替換表y1的str1列中第三個操作的子字符串。如何實現(xiàn)這一點(diǎn)?
1.自己寫SQL層存儲函數(shù)。代碼是這樣寫的:3 dead,沒有優(yōu)化,只是作為演示,在MySQL中非常不鼓勵寫這樣的函數(shù)。
關(guān)系型數(shù)據(jù)庫
分隔符$$
使用; ytt`$$
如果存在,則刪除函數(shù)` func_instr_simple_ytt`$$
CREATE definer ` root `@ ` localhost ` func _ instr _ simple _ ytt `(
f_str VARCHAR(1000),-參數(shù)1
f_substr VARCHAR(100),-參數(shù)2
f_replace_str varchar(100),
f_times int - times支持3。
)返回varchar(1000)
開始
聲明v_result varchar(1000)默認(rèn)ytt - result。
聲明v_substr_len int default 0 -搜索字符串長度。
設(shè)置f_times 3 -僅支持3。
設(shè)置v_substr_len長度(f_substr)
select instr(f_str,f_substr) into @p1 -第一個實際位置。
select instr(substr(f_str,@p1 v_substr_len),f_substr)進(jìn)入@p2次虛擬位置。
select instr(substr(f_str,@p2 @p1 2*v_substr_len - 1),f_substr) into @p3 -第三個虛擬位置。
如果@p1 gt 0安培@p2 gt 0安培@p3 gt 0,那么-好。
挑選
concat(substr(f_str,1,@ P1 @ p2 @ P3(f _ times-1)* v _ substr _ len-f _ times)
,f_replace_str,
substr(f_str,@ P1 @ p2 @ P3 f _ times * v _ substr _ len-2))轉(zhuǎn)換為v_result
其他
set v_result f_str -從未更改。
如果…就會結(jié)束
-清除所有會話變量。
set @p1 null
set @p2 null
set @p3 null
返回v _結(jié)果
結(jié)束
$$
定界符
-調(diào)用函數(shù)進(jìn)行更新:
mysqlgt更新y1設(shè)置str1 func_instr_simple_ytt(str1,action,dble,3)
查詢正常,20行受影響(0.12秒)
排match: 20 Chang: 20 Warnings: 0
2.使用sed等工具導(dǎo)出以替換導(dǎo)入。步驟如下:(推薦)1)導(dǎo)出表y1中的記錄。
MySQL mysqlgt select * from y1 into outfile/var/lib/MySQL-files/y1 . CSV qu:/var/lib/mysql-files# sed-I s/action/dble/3 y1 . CSV
3)再次導(dǎo)入處理后的數(shù)據(jù)并完成。
關(guān)系型數(shù)據(jù)庫
mysqlgt截斷y1
查詢正常,0行受影響(0.99秒)
mysqlgt將file/var/lib/MySQL-files/y1 . CSV中的數(shù)據(jù)加載到表y1中
查詢正常,20行受影響(0.14秒)
Records: 20 D: 0 Skipp: 0
以上兩種推薦出口再加工再進(jìn)口,性能更高,你不 你不必自己編寫功能代碼。然后MySQL 8.0很簡單的實現(xiàn)了上面的場景,一個功能就搞定了。
MySQL mysqlgt update y1 set str 1 regexp _ replace(str 1,action,dble,1,3)查詢正常,20行受影響(0.13秒)行match: 20 Chang: 20 Warnings: 0
還有一個regexp_instr非常有用,特別是指出現(xiàn)的次數(shù)。例如,定義會話變量@ a。
MySQL mysqlgt set @ a aa bb cc ee fi Lucy 1 1 1 b s 2 3 4 5 2 3 5 561 19 10 10 20 30 10 40查詢正常,0行受影響(0.04秒)
獲取該數(shù)字至少出現(xiàn)兩次的第二個子字符串的位置。
MySQL mysqlgt select r:digitech 14-@ . com]{ 2,},1,2) - | r:digitech 16-@ . com]{ 2,},1,2) | - | 50 | -集合中的1行(0.00秒)
那么讓我們 讓我們看看如何支持多字節(jié)字符。
關(guān)系型數(shù)據(jù)庫
Mysqlgt set @a美國俄羅斯日本北京上海深圳廣州上海武漢東莞北京青島北京。
查詢正常,0行受影響(0.00秒)
Mysqlgt select regexp_instr(@a,Beijing,1,1)
-
| regexp_Instr(@a,北京,1,1) |
-
| 17 |
-
集合中的1行(0.00秒)
Mysqlgt select regexp_instr(@a,Beijing,1,2)
-
| regexp_instr(@a,Beijing,1,2) |
-
| 29 |
-
集合中的1行(0.00秒)
Mysqlgt select regexp_instr(@a,Beijing,1,3)
-
| regexp_instr(@a,Beijing,1,3) |
-
| 41 |
-
集合中的1行(0.00秒)
綜上,我提到了MySQL 8.0最有用的兩個正則匹配函數(shù),regexp_replac
awk怎么刪除?
戰(zhàn)略經(jīng)濟(jì)對話..e/[替換為string,don 不寫也不刪] /g上面的文件名就是找一個類似**e的字符串,也可以寫其他正則表達(dá)式,刪除或者替換awk: awk {gsub (/a..e/,替換內(nèi)容或為空);print}的文件名同上,刪除功能可以通過將替換項寫成空字符串來實現(xiàn)。