Mac pt-online-schema-change 圖文並茂、不鎖表線上修改 MySQL 表結構

2023-07-03 12:01:05

導讀

  percona-toolkit 源自 Maatkit 和 Aspersa 工具,這兩個工具是管理 MySQL 的最有名的工具,但 Maatkit 已經不維護了,全部歸併到 percona-toolkit。Percona Toolkit 是一組高階的命令列工具,用來管理 MySQL 和系統任務,主要包括:

  • 驗證主節點和複製資料的一致性
  • 有效的對記錄行進行歸檔
  • 找出重複的索引
  • 總結 MySQL 伺服器
  • 從紀錄檔和 tcpdump 中分析查詢
  • 問題發生時收集重要的系統資訊
  • 線上修改表結構

工作原理

  • 如果存在外來鍵,根據 alter-foreign-keys-method 引數的值,檢測外來鍵相關的表,做相應設定的處理。沒有使用 alter-foreign-keys-method 指定特定的值,該工具不予執行
  • 建立一個新的空表,其命名規則是:下劃線 + 原表名 +_new
  • 根據 alter 語句,更新新表的表結構;
  • 建立觸發器,用於記錄從拷貝資料開始之後,對源資料表繼續進行資料修改的操作記錄下來,用於資料拷貝結束後,執行這些操作,保證資料不會丟失。如果表中已經定義了觸發器這個工具就不能工作了。
  • 拷貝資料,從源資料表中拷貝資料到新表中。
  • 修改外來鍵相關的子表,根據修改後的資料,修改外來鍵關聯的子表。
  • rename 源資料表為 old 表,把新表 rename 為源表名,其通過一個 RENAME TABLE 同時處理兩個表,實現原子操作。(RENAME TABLE dbteamdb.user TO dbteamdb._user_old, dbteamdb._user_new TO dbteamdb.user)
  • 將 old 表刪除、刪除觸發器。

mac安裝

brew install percona-toolkit

官網地址:https://www.percona.com/downloads/percona-toolkit/LATEST/

  注:如果mac上安裝很慢,請設定國內映象:點我直達

使用

pt-online-schema-change引數

  語法:pt-online-schema-change [OPTIONS]

OPTIONS 引數說明

    --user:
    -u,連線的使用者名稱
    --password:
    -p,連線的密碼
    --database:
    -D,連線的資料庫
    --port
    -P,連線資料庫的埠
    --host:
    -h,連線的主機地址
    --socket:
    -S,連線的通訊端檔案
    --ask-pass
    隱式輸入連線 MySQL 的密碼
    --charset
    指定修改的字元集
    --defaults-file
    -F,讀取組態檔
    --alter:
    結構變更語句,不需要 alter table 關鍵字。可以指定多個更改,用逗號分隔。如下場景,需要注意:
        不能用 RENAME 來重新命名錶。
        列不能通過先刪除,再新增的方式進行重新命名,不會將資料拷貝到新列。
        如果加入的列非空而且沒有預設值,則工具會失敗。即其不會為你設定一個預設值,必須顯示指定。
        刪除外來鍵 (drop foreign key constrain_name) 時,需要指定名稱_constraint_name,而不是原始的 constraint_name。
        如:CONSTRAINT `fk_foo` FOREIGN KEY (`foo_id`) REFERENCES `bar` (`foo_id`),需要指定:--alter "DROP FOREIGN KEY _fk_foo"
    --alter-foreign-keys-method
    如何把外來鍵參照到新表?需要特殊處理帶有外來鍵約束的表,以保證它們可以應用到新表。當重新命名錶的時候,外來鍵關係會帶到重新命名後的表上。
    該工具有兩種方法,可以自動找到子表,並修改約束關係。
    auto: 在 rebuild_constraints 和 drop_swap 兩種處理方式中選擇一個。
    rebuild_constraints:使用 ALTER TABLE 語句先刪除外來鍵約束,然後再新增。如果子表很大的話,會導致長時間的阻塞。
    drop_swap: 執行 FOREIGN_KEY_CHECKS=0, 禁止外來鍵約束,刪除原表,再重新命名新表。這種方式很快,也不會產生阻塞,但是有風險:
    1, 在刪除原表和重新命名新表的短時間內,表是不存在的,程式會返回錯誤。
    2, 如果重新命名錶出現錯誤,也不能回滾了。因為原表已經被刪除。
    none: 類似"drop_swap"的處理方式,但是它不刪除原表,並且外來鍵關係會隨著重新命名轉到老表上面。
    --[no]check-alter
    預設 yes,語法解析。配合 --dry-run 和 --print 一起執行,來檢查是否有問題(change column,drop primary key)。
    --max-lag
    預設 1s。每個 chunk 拷貝完成後,會檢視所有複製 Slave 的延遲情況。要是延遲大於該值,則暫停複製資料,直到所有從的滯後小於這個值,使用 Seconds_Behind_Master。如果有任何從滯後超過此選項的值,則該工具將睡眠 --check-interval 指定的時間,再檢查。如果從被停止,將會永遠等待,直到從開始同步,並且延遲小於該值。如果指定 --check-slave-lag,該工具只檢查該伺服器的延遲,而不是所有伺服器。
    --check-slave-lag
    指定一個從庫的 DSN 連線地址,如果從庫超過 --max-lag 引數設定的值,就會暫停操作。
    --recursion-method
    預設是 show processlist,發現從的方法,也可以是 host,但需要在從上指定 report_host,通過 show slave hosts 來找到,可以指定 none 來不檢查 Slave。
    METHOD       USES
    ===========  ==================
    processlist  SHOW PROCESSLIST
    hosts        SHOW SLAVE HOSTS
    dsn=DSN      DSNs from a table
    none         Do not find slaves
    指定 none 則表示不在乎從的延遲。
    --check-interval
    預設是 1。--max-lag 檢查的睡眠時間。

    --[no]check-plan
    預設 yes。檢查查詢執行計劃的安全性。

    --[no]check-replication-filters
    預設 yes。如果工具檢測到伺服器選項中有任何複製相關的篩選,如指定 binlog_ignore_db 和 replicate_do_db 此類。發現有這樣的篩選,工具會報錯且退出。因為如果更新的表 Master 上存在,而 Slave 上不存在,會導致複製的失敗。使用–no-check-replication-filters 選項來禁用該檢查。

    --[no]swap-tables
    預設 yes。交換原始表和新表,除非你禁止 --[no]drop-old-table。

    --[no]drop-triggers
    預設 yes,刪除原表上的觸發器。 --no-drop-triggers 會強制開啟 --no-drop-old-table 即:不刪除觸發器就會強制不刪除原表。

    --new-table-name
    複製建立新表的名稱,預設 %T_new。

    --[no]drop-new-table
    預設 yes。刪除新表,如果複製組織表失敗。

    --[no]drop-old-table
    預設 yes。複製資料完成重新命名之後,刪除原表。如果有錯誤則會保留原表。

    --max-load
    預設為 Threads_running=25。每個 chunk 拷貝完後,會檢查 SHOW GLOBAL STATUS 的內容,檢查指標是否超過了指定的閾值。如果超過,則先暫停。這裡可以用逗號分隔,指定多個條件,每個條件格式: status 指標 =MAX_VALUE 或者 status 指標:MAX_VALUE。如果不指定 MAX_VALUE,那麼工具會這隻其為當前值的 120%。

    --critical-load
    預設為 Threads_running=50。用法基本與 --max-load 類似,如果不指定 MAX_VALUE,那麼工具會這隻其為當前值的 200%。如果超過指定值,則工具直接退出,而不是暫停。

    --default-engine
    預設情況下,新的表與原始表是相同的儲存引擎,所以如果原來的表使用 InnoDB 的,那麼新表將使用 InnoDB 的。在涉及複製某些情況下,很可能主從的儲存引擎不一樣。使用該選項會預設使用預設的儲存引擎。

    --set-vars
    設定 MySQL 變數,多個用逗號分割。預設該工具設定的是: wait_timeout=10000 innodb_lock_wait_timeout=1 lock_wait_timeout=60

    --chunk-size-limit
    當需要複製的塊遠大於設定的 chunk-size 大小,就不復制。預設值是 4.0,一個沒有主鍵或唯一索引的表,塊大小就是不確定的。

    --chunk-time
    在 chunk-time 執行的時間內,動態調整 chunk-size 的大小,以適應伺服器效能的變化,該引數設定為 0, 或者指定 chunk-size, 都可以禁止動態調整。

    --chunk-size
    指定塊的大小,預設是 1000 行,可以新增 k,M,G 字尾。這個塊的大小要儘量與 --chunk-time 匹配,如果明確指定這個選項,那麼每個塊就會指定行數的大小。

    --[no]check-plan
    預設 yes。為了安全,檢查查詢的執行計劃。預設情況下,這個工具在執行查詢之前會先 EXPLAIN, 以獲取一次少量的資料,如果是不好的 EXPLAIN, 那麼會獲取一次大量的資料,這個工具會多次執行 EXPALIN, 如果 EXPLAIN 不同的結果,那麼就會認為這個查詢是不安全的。
    --statistics
    列印出內部事件的數目,可以看到複製資料插入的數目。
    --dry-run
    建立和修改新表,但不會建立觸發器、複製資料、和替換原表。並不真正執行,可以看到生成的執行語句,瞭解其執行步驟與細節。--dry-run 與 --execute 必須指定一個,二者相互排斥。和 --print 配合最佳。
    --execute
    確定修改表,則指定該引數。真正執行。--dry-run 與 --execute 必須指定一個,二者相互排斥。
    --print
    列印 SQL 語句到標準輸出。指定此選項可以讓你看到該工具所執行的語句,和 --dry-run 配合最佳。
    --progress
    複製資料的時候列印進度報告,二部分組成:第一部分是百分比,第二部分是時間。
    --quiet
    -q,不把資訊標準輸出。

新增索引

pt-online-schema-change --user=root --password=rootroot --host=127.0.0.1 --port=3306 --alter "ADD INDEX idx_name(user_name) USING BTREE" D=yb_test,t=sys_user --no-check-replication-filters --print --execute --charset=utf8  --max-load=Threads_running=20
  • user:使用者名稱
  • password:密碼
  • host:主機ip
  • port:mysql埠號
  • alter:改表語句,注意跟沒有指定改表!!!!
  • D:資料庫
  • t:待修改表名
  • no-check-replication-filters:不檢查複製篩選器
  • print:列印SQL
  • charset:指定修改的字元集
  • max-load:限制20個執行緒執行,如果超過時,PT暫停操作,預設為25
  • execute:執行

演示

  注意:

    1、在舊錶中新建觸發器

    2、新建一張表命名格式:_原表名_new

    3、將舊錶資料,拷貝到新表;如果舊錶中有資料CRUD操作,會通過觸發器操作到新表

    4、拷貝結束後,將原表改為舊錶,新表改為原表,刪除舊錶,刪除觸發器

新增欄位

pt-online-schema-change --user=root --password=rootroot --host=127.0.0.1 --port=3306 --alter "ADD COLUMN t_remark varchar(255) NOT NULL default '' COMMENT '測試備註'" D=yb_test,t=sys_user --print --execute
  • user:使用者名稱
  • password:密碼
  • host:主機ip
  • port:mysql埠號
  • alter:改表語句,注意跟沒有指定改表!!!!
  • D:資料庫
  • t:待修改表名
  • print:列印SQL
  • execute:執行

  注意:alter中不能出現``,必須使用''

演示

刪除欄位

pt-online-schema-change --user=root --password=Dl123456. --host=47.116.143.16 --port=3306 --alter "DROP COLUMN t_remark_new" D=yb_test,t=sys_user --print --execute
  • user:使用者名稱
  • password:密碼
  • host:主機ip
  • port:mysql埠號
  • alter:改表語句,注意跟沒有指定改表!!!!
  • D:資料庫
  • t:待修改表名
  • print:列印SQL
  • execute:執行