percona-toolkit 源自 Maatkit 和 Aspersa 工具,這兩個工具是管理 MySQL 的最有名的工具,但 Maatkit 已經不維護了,全部歸併到 percona-toolkit。Percona Toolkit 是一組高階的命令列工具,用來管理 MySQL 和系統任務,主要包括:
alter-foreign-keys-method
引數的值,檢測外來鍵相關的表,做相應設定的處理。沒有使用 alter-foreign-keys-method 指定特定的值,該工具不予執行_new
brew install percona-toolkit
官網地址:https://www.percona.com/downloads/percona-toolkit/LATEST/
注:如果mac上安裝很慢,請設定國內映象:點我直達
語法:pt-online-schema-change [OPTIONS]
--user:
-u,連線的使用者名稱
--password:
-p,連線的密碼
--database:
-D,連線的資料庫
--port
-P,連線資料庫的埠
--host:
-h,連線的主機地址
--socket:
-S,連線的通訊端檔案
--ask-pass
隱式輸入連線 MySQL 的密碼
--charset
指定修改的字元集
--defaults-file
-F,讀取組態檔
--alter:
結構變更語句,不需要 alter table 關鍵字。可以指定多個更改,用逗號分隔。如下場景,需要注意:
不能用 RENAME 來重新命名錶。
列不能通過先刪除,再新增的方式進行重新命名,不會將資料拷貝到新列。
如果加入的列非空而且沒有預設值,則工具會失敗。即其不會為你設定一個預設值,必須顯示指定。
刪除外來鍵 (drop foreign key constrain_name) 時,需要指定名稱_constraint_name,而不是原始的 constraint_name。
如:CONSTRAINT `fk_foo` FOREIGN KEY (`foo_id`) REFERENCES `bar` (`foo_id`),需要指定:--alter "DROP FOREIGN KEY _fk_foo"
--alter-foreign-keys-method
如何把外來鍵參照到新表?需要特殊處理帶有外來鍵約束的表,以保證它們可以應用到新表。當重新命名錶的時候,外來鍵關係會帶到重新命名後的表上。
該工具有兩種方法,可以自動找到子表,並修改約束關係。
auto: 在 rebuild_constraints 和 drop_swap 兩種處理方式中選擇一個。
rebuild_constraints:使用 ALTER TABLE 語句先刪除外來鍵約束,然後再新增。如果子表很大的話,會導致長時間的阻塞。
drop_swap: 執行 FOREIGN_KEY_CHECKS=0, 禁止外來鍵約束,刪除原表,再重新命名新表。這種方式很快,也不會產生阻塞,但是有風險:
1, 在刪除原表和重新命名新表的短時間內,表是不存在的,程式會返回錯誤。
2, 如果重新命名錶出現錯誤,也不能回滾了。因為原表已經被刪除。
none: 類似"drop_swap"的處理方式,但是它不刪除原表,並且外來鍵關係會隨著重新命名轉到老表上面。
--[no]check-alter
預設 yes,語法解析。配合 --dry-run 和 --print 一起執行,來檢查是否有問題(change column,drop primary key)。
--max-lag
預設 1s。每個 chunk 拷貝完成後,會檢視所有複製 Slave 的延遲情況。要是延遲大於該值,則暫停複製資料,直到所有從的滯後小於這個值,使用 Seconds_Behind_Master。如果有任何從滯後超過此選項的值,則該工具將睡眠 --check-interval 指定的時間,再檢查。如果從被停止,將會永遠等待,直到從開始同步,並且延遲小於該值。如果指定 --check-slave-lag,該工具只檢查該伺服器的延遲,而不是所有伺服器。
--check-slave-lag
指定一個從庫的 DSN 連線地址,如果從庫超過 --max-lag 引數設定的值,就會暫停操作。
--recursion-method
預設是 show processlist,發現從的方法,也可以是 host,但需要在從上指定 report_host,通過 show slave hosts 來找到,可以指定 none 來不檢查 Slave。
METHOD USES
=========== ==================
processlist SHOW PROCESSLIST
hosts SHOW SLAVE HOSTS
dsn=DSN DSNs from a table
none Do not find slaves
指定 none 則表示不在乎從的延遲。
--check-interval
預設是 1。--max-lag 檢查的睡眠時間。
--[no]check-plan
預設 yes。檢查查詢執行計劃的安全性。
--[no]check-replication-filters
預設 yes。如果工具檢測到伺服器選項中有任何複製相關的篩選,如指定 binlog_ignore_db 和 replicate_do_db 此類。發現有這樣的篩選,工具會報錯且退出。因為如果更新的表 Master 上存在,而 Slave 上不存在,會導致複製的失敗。使用–no-check-replication-filters 選項來禁用該檢查。
--[no]swap-tables
預設 yes。交換原始表和新表,除非你禁止 --[no]drop-old-table。
--[no]drop-triggers
預設 yes,刪除原表上的觸發器。 --no-drop-triggers 會強制開啟 --no-drop-old-table 即:不刪除觸發器就會強制不刪除原表。
--new-table-name
複製建立新表的名稱,預設 %T_new。
--[no]drop-new-table
預設 yes。刪除新表,如果複製組織表失敗。
--[no]drop-old-table
預設 yes。複製資料完成重新命名之後,刪除原表。如果有錯誤則會保留原表。
--max-load
預設為 Threads_running=25。每個 chunk 拷貝完後,會檢查 SHOW GLOBAL STATUS 的內容,檢查指標是否超過了指定的閾值。如果超過,則先暫停。這裡可以用逗號分隔,指定多個條件,每個條件格式: status 指標 =MAX_VALUE 或者 status 指標:MAX_VALUE。如果不指定 MAX_VALUE,那麼工具會這隻其為當前值的 120%。
--critical-load
預設為 Threads_running=50。用法基本與 --max-load 類似,如果不指定 MAX_VALUE,那麼工具會這隻其為當前值的 200%。如果超過指定值,則工具直接退出,而不是暫停。
--default-engine
預設情況下,新的表與原始表是相同的儲存引擎,所以如果原來的表使用 InnoDB 的,那麼新表將使用 InnoDB 的。在涉及複製某些情況下,很可能主從的儲存引擎不一樣。使用該選項會預設使用預設的儲存引擎。
--set-vars
設定 MySQL 變數,多個用逗號分割。預設該工具設定的是: wait_timeout=10000 innodb_lock_wait_timeout=1 lock_wait_timeout=60
--chunk-size-limit
當需要複製的塊遠大於設定的 chunk-size 大小,就不復制。預設值是 4.0,一個沒有主鍵或唯一索引的表,塊大小就是不確定的。
--chunk-time
在 chunk-time 執行的時間內,動態調整 chunk-size 的大小,以適應伺服器效能的變化,該引數設定為 0, 或者指定 chunk-size, 都可以禁止動態調整。
--chunk-size
指定塊的大小,預設是 1000 行,可以新增 k,M,G 字尾。這個塊的大小要儘量與 --chunk-time 匹配,如果明確指定這個選項,那麼每個塊就會指定行數的大小。
--[no]check-plan
預設 yes。為了安全,檢查查詢的執行計劃。預設情況下,這個工具在執行查詢之前會先 EXPLAIN, 以獲取一次少量的資料,如果是不好的 EXPLAIN, 那麼會獲取一次大量的資料,這個工具會多次執行 EXPALIN, 如果 EXPLAIN 不同的結果,那麼就會認為這個查詢是不安全的。
--statistics
列印出內部事件的數目,可以看到複製資料插入的數目。
--dry-run
建立和修改新表,但不會建立觸發器、複製資料、和替換原表。並不真正執行,可以看到生成的執行語句,瞭解其執行步驟與細節。--dry-run 與 --execute 必須指定一個,二者相互排斥。和 --print 配合最佳。
--execute
確定修改表,則指定該引數。真正執行。--dry-run 與 --execute 必須指定一個,二者相互排斥。
--print
列印 SQL 語句到標準輸出。指定此選項可以讓你看到該工具所執行的語句,和 --dry-run 配合最佳。
--progress
複製資料的時候列印進度報告,二部分組成:第一部分是百分比,第二部分是時間。
--quiet
-q,不把資訊標準輸出。
pt-online-schema-change --user=root --password=rootroot --host=127.0.0.1 --port=3306 --alter "ADD INDEX idx_name(user_name) USING BTREE" D=yb_test,t=sys_user --no-check-replication-filters --print --execute --charset=utf8 --max-load=Threads_running=20
注意:
1、在舊錶中新建觸發器
2、新建一張表命名格式:_原表名_new
3、將舊錶資料,拷貝到新表;如果舊錶中有資料CRUD操作,會通過觸發器操作到新表
4、拷貝結束後,將原表改為舊錶,新表改為原表,刪除舊錶,刪除觸發器
pt-online-schema-change --user=root --password=rootroot --host=127.0.0.1 --port=3306 --alter "ADD COLUMN t_remark varchar(255) NOT NULL default '' COMMENT '測試備註'" D=yb_test,t=sys_user --print --execute
注意:alter中不能出現``,必須使用''
pt-online-schema-change --user=root --password=Dl123456. --host=47.116.143.16 --port=3306 --alter "DROP COLUMN t_remark_new" D=yb_test,t=sys_user --print --execute