<rt id="wq202"><optgroup id="wq202"></optgroup></rt>
<rt id="wq202"><small id="wq202"></small></rt>
<rt id="wq202"><small id="wq202"></small></rt>
新聞動態
新聞動態
NEWS INFORMATION

MySQL MHA 運行狀態監控介紹

發布日期:2022-02-06 11:30 | 文章來源:腳本之家

一 項目描述

1.1 背景

MHA(Master HA)是一款開源的 MySQL 的高可用程序,它為 MySQL 主從復制架構提供了 automating master failover 功能。MHA 在監控到 master 節點故障時,會提升其中擁有最新數據的 slave 節點成為新的master 節點。自動FailOver的前置條件一定是MHA是啟動運行的狀態。在生產環境中,有時會因為沒有及時開啟或者運行異常停止而不知,導致MySQL主節點異常時,沒有自動FailOver,影響了生產,或延長了處理時間,使故障升級。

此外,MHA發生FailOver后,MHA的運行狀態會由 is running(0:PING_OK) 變更為stopped(2:NOT_RUNNING),從運行反饋結果變化上,可以判斷是否可能發生了主從切換??梢宰鳛橐粋€Warning處理。

綜上,對MHA的運行狀態的監控很有必要。

1.2 實現設計

MHA是運行在Manager 節點上的,一個Manager 節點可以管理數十個集群。目前,我們的監控體系是Telegraf + InfluxDB + Grafana,所以,需要在Manager 節點部署Telegraf,去收集MHA的運行狀態,保存到 InfluxDB。在既有的Grafana MySQL Dashboard中,添加一個關于 masterha_check_status 的panel 即可。

1.2.1 之前的方法

在 《以實現MongoDB副本集狀態的監控為例,看Telegraf系統中Exec輸入插件如何編寫部署》 一文中的第七部分,我們有介紹一種方法實現MySQL MHA的監控,但這種方法是每一個集群都需要手動維護,自動發現的功能不夠好,增加維護成本,特別是集團的MHA集群比較多時。

1.2.2 優化后的方法

Manager 節點為每個監控的MHA集群提供一個專用的配置文件,優化后的監控方法,根據配置文件自動發現、自動調整監控,不再需要逐一配置和維護。

部署的步驟如下:

二.實現詳情

2.1 編輯Python可執行文件

可執行文件為telegraf_checkmhastatus.py

#!/usr/bin/python
# -*- coding: UTF-8 -*-
 
import os
import io
import re
import ConfigParser
Path='/cnf/mhacnf'
#fout=open('輸出文件名','w')
for Name in os.listdir(Path) :
  Pathname= os.path.join(Path,Name)
 ## print(Pathname)
 ## print(Name)
  config =ConfigParser.ConfigParser()
  try:
    config.read(Pathname)
    server_item = config.sections()
    server1_host = ''  ##MHA cnf 配置文件中的節點1
    server2_host = ''  ##MHA cnf 配置文件中的節點2
    server3_host = ''  ##MHA cnf 配置文件中的節點3
    mha_cnf_remark = ''
    if 'server1' in server_item:
      server1_host = config.get('server1','hostname')
    else:
       server1_host = ''
       mha_cnf_remark = mha_cnf_remark + 'Server1未配置;'
    if 'server2' in server_item:
      server2_host = config.get('server2','hostname')
    else:
      server2_host = ''
      mha_cnf_remark = mha_cnf_remark + 'Server2未配置;'
    if 'server3' in server_item:
      server3_host = config.get('server3','hostname')
      ##print(mha_cnf_remark)
  except Exception as e:
    print(e)
  mha_status_result =''
  if server1_host <> '' and server2_host <> '':
    cmd_mha_status ='/usr/local/bin/masterha_check_status --conf='+Pathname
    with os.popen(cmd_mha_status) as mha_status:
      mha_status_result = mha_status.read()
      if 'running(0:PING_OK)' in mha_status_result:
        print('masterha_check_status,server='+server1_host+' Status=1i')
        print('masterha_check_status,server='+server2_host+' Status=1i')
      if 'stopped(2:NOT_RUNNING)' in mha_status_result:
      ##else:
        print('masterha_check_status,server='+server1_host+' Status=0i')
        print('masterha_check_status,server='+server2_host+' Status=0i')

說明:

  • (1)遍歷 /cnf/mhacnf目錄下的文件(假設MHA配置文件的配置文件在此目錄下);
  • (2)對每個文件執行masterha_check_status --cong = XXXX,XXXX為具體的配置文件;判斷運行結果;
  • (3)獲取MHA集群節點;
  • (4)因為我們MHA集群都是一主一從,所以,只 if server1_host <> '' and server2_host <> '':一種情況,大家可根據需要,根據具體的場景,變更。
  • (5)數據保存到名叫masterha_check_statusmeasurement中,Tag Key host server;當運行OK時,Status=1,否則,Status=0。
  • (6)Server對應的數據為Server IP(注意,會在grafana配置時以此關聯)。

2.2 修改 telegraf 文件

文件默認目錄為/etc/telegraf/,默認文件為telegraf.conf。

將執行文件嵌入到telegraf.conf中,由python驅動。

代碼如下:

[[inputs.exec]]
  ##Commands array
  commands = ["python /data/check_mha_status/check_mha_status.py",]
  timeout='60s'
  data_format="influx"

2.3 修改telegraf service的運行賬號

telegraf服務的啟動賬號默認為telegraf,但是,其中調用了Pythonpython的可執行文件,需要修改權限。為了簡便,升級telegraf service的運行賬號,修改成root。🙂

修改telegraf.service,默認路徑為/usr/lib/systemd/system/telegraf.service。

修改后的代碼如下:

[Unit]
Description=The plugin-driven server agent for reporting metrics into InfluxDB
Documentation=https://github.com/influxdata/telegraf
After=network.target
[Service]
EnvironmentFile=-/etc/default/telegraf
##User=telegraf
User=root
ExecStart=/usr/bin/telegraf -config /etc/telegraf/telegraf.conf -config-directory /etc/telegraf/telegraf.d $TELEGRAF_OPTS
ExecReload=/bin/kill -HUP $MAINPID
Restart=on-failure
RestartForceExitStatus=SIGPIPE
KillMode=control-group
[Install]
WantedBy=multi-user.target

2.4 啟動Telegraf 服務

service telegraf start     ####啟動服務
service telegraf status   ####服務狀態查看
service telegraf stop     ####關閉服務

2.5 配置Grafana,增加Panel

因為MySQL實例節點的telegraf也會匯報各自的數據,例如MySQL連接數、TPS、QPS、主從狀態、延遲、資源(CPU、內存、磁盤、IOWait)等等,這些指標在一個Dashboard上,而新收集的MHA運行狀態是新增的的一個MySQL指標,所以,應該將MHA運行狀態作為既有MySQL Dashboard的一個Panel。

在MySQL實例節點上匯報的數據是各個節點的host instance(Server IP:端口);而MHA 運行狀態匯報的數據是manager節點的host 和 各個實例Server IP。所以,依據Host 關聯,整合到一個Dashboard是實現不了的(因為沒有關聯性)。只能通過 instance(Server IP:端口) 和 Server IP 進行關聯了。

首先,將instance(Server IP:端口) 正則下,去除端口數據,實現方式,增加一個grafana變量--server_ip,如下

注意上面的數據源來自measurementmysql。

然后,再增加一個grafana變量--mha_server,注意,會依賴上面的變量server_ip。

這樣 mysql masterha_check_status 兩個measurement就關聯起來了,可以聯動了。

最后,增加 panel設置下,就可以了,如下。

SQL 語句如下:

SELECT mean("Status") FROM "masterha_check_status" WHERE ("server" =~ /^$mha_server$/) AND $timeFilter GROUP BY time(1m) fill(null)

三 .實現

運行狀態為1,異?;蜿P閉為0.

還可以增加Alarm告警,例如郵箱、微信、釘釘等,在此就不展開了。

補充一點:

因為優化后的監控方法,根據配置文件自動發現、自動調整監控。所以,如果新增一個MHA,而這個過程又比較長,比如10分鐘,這個時候,既有的MHA監控可能會報錯或報警。

為了避免這種情況發生,建議新增的MHA的配置文件,最后再放至到MHA配置文件的目錄上?;蛘?,先將配置文件放到其他的目錄上,MHA配置OK后,最后一步再移到/cnf/mhacnf目錄下。

到此這篇關于MySQL MHA 運行狀態監控介紹的文章就介紹到這了,更多相關MySQL MHA 運行狀態監控內容請搜索本站以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持本站!

美國服務器租用

版權聲明:本站文章來源標注為YINGSOO的內容版權均為本站所有,歡迎引用、轉載,請保持原文完整并注明來源及原文鏈接。禁止復制或仿造本網站,禁止在非www.333abb.com所屬的服務器上建立鏡像,否則將依法追究法律責任。本站部分內容來源于網友推薦、互聯網收集整理而來,僅供學習參考,不代表本站立場,如有內容涉嫌侵權,請聯系alex-e#qq.com處理。

實時開通

自選配置、實時開通

免備案

全球線路精選!

全天候客戶服務

7x24全年不間斷在線

專屬顧問服務

1對1客戶咨詢顧問

在線
客服

在線客服:7*24小時在線

客服
熱線

400-630-3752
7*24小時客服服務熱線

關注
微信

關注官方微信
頂部