DTPの監視を試みる：OSSを活用した手法

# compose.yaml

services:
  prometheus:
    image: prom/prometheus:latest
    container_name: prometheus
    restart: unless-stopped
    volumes:
      - './prometheus/prometheus.yml:/etc/prometheus/prometheus.yml'
      - './prometheus/alert.rules:/etc/prometheus/alert.rules'
    ports:
      - "9090:9090"
    networks:
      - monitoring_network

  blackbox-exporter:
    image: prom/blackbox-exporter:latest
    container_name: blackbox-exporter
    ports:
      - "9115:9115"
    command:
      - '--config.file=/config/blackbox.yml'
    volumes:
      - ./blackbox/blackbox.yml:/config/blackbox.yml
    networks:
      - monitoring_network

  alertmanager:
    image: prom/alertmanager:latest
    container_name: alertmanager
    restart: unless-stopped
    volumes:
      - './alertmanager/alertmanager.yml:/etc/alertmanager/alertmanager.yml'
    ports:
      - "9093:9093"
    networks:
      - monitoring_network

networks:
  monitoring_network:
    name: monitoring_network
    driver: bridge

# prometheus.yml

global:
  scrape_interval: 15s            # ターゲットからメトリクスを取得する間隔を設定（15秒毎にメトリクスを収集）

scrape_configs:                   # メトリクスを収集対象のターゲットを設定（複数Jobを定義可能）
  - job_name: 'blackbox_dtp_tcp'  # blackbox用のjobを定義（DTP監視用）
    metrics_path: /probe          # メトリクスを収集するパス
    params:
      module: [tcp_connect]       # TCP接続を監視するためのモジュールを指定
    static_configs:
      - targets:                  # 収集対象のターゲット（xxx.xxx.xxx.xxxはDTP Serverのhostnameに置き換える）
        - xxx.xxx.xxx.xxx:8080    # DTP Server
        - xxx.xxx.xxx.xxx:8443    # DTP Server SSL Connector
        - xxx.xxx.xxx.xxx:8082    # DTP Server Data Collector
        - xxx.xxx.xxx.xxx:8314    # DTP Server Extension Designer
    relabel_configs:
      - source_labels: [__address__]     # Prometheusからプローブリクエストのターゲットを渡すための設定
        target_label: __param_target
      - source_labels: [__param_target]  # Prometheusに監視対象を表示するため、instanceラベルを追加
        target_label: instance
      - target_label: __address__        # Prometheusからプローブリクエストの送信先（Blackbox exporter）を設定
        replacement: blackbox-exporter:9115 

alerting:
  alertmanagers:                  # Prometheusとalertmanagersを紐づける
    - static_configs:
        - targets: ['alertmanager:9093']

rule_files:
  - "alert.rules"                 # アラートルールの定義ファイルを設定

# alert.rules

groups:
  - name: dtp_tcp_connectivity        # アラートルールのグループ名
    rules:
    - alert: DTP_TCPConnectionFailed  # アラート名
      expr: probe_success == 0        # アラートの発生条件（監視対象がダウンしている場合）
      for: 1m                         # アラートの発生条件を満たすための時間（1分間、監視対象がダウンしている場合）
      labels:
        severity: critical            # アラートの重要度
      annotations:
        summary: "DTPサーバー接続失敗"                  # アラートの概要
        description: "Target：{{ $labels.instance }}"   # アラートの詳細（ダウンしている監視対象を設定）

# alertmanager.yml

global:
  resolve_timeout: 1m      # アラートが解決されたとみなすまでのタイムアウト時間（1分）

route:
  receiver: webhook-notify # アラートが発生した場合の通知の送り先を設定（receiversのnameを設定）
  repeat_interval: 5m      # アラートが解決されない場合の通知の通知の再送付間隔（5分）

receivers:
- name: 'webhook-notify'
   # 通知の送り先の名前
  webhook_configs:                           # Webhookを使って通知を送るための設定
  - url: 'https://xxx.xxx.xxx.xxx:xxxx/5000' # 通知を送信するWebhookのURLを指定（管理者用PCに構築したwebhookのURL）
    send_resolved: false                     # 解決済みのアラートを通知するか設定（false：通知しない）

# blackbox.yml

modules:
  tcp_connect:   # prometheus.ymlで定義したモジュール名
    prober: tcp  # TCPプローブの使用を設定
    timeout: 5s  # プローブがタイムアウトするまでの時間を設定（TCP接続が5秒以内に確立できない場合、失敗）

コマンド実行
> cd /opt/monitoring_stack
> docker compose up -d

# webhook_server.py（Python version 3.12.2、Webアプリのフレームワーク：Flaskが必要）

from flask import Flask, request
import subprocess
import json

app = Flask(__name__)

@app.route('/alert', methods=['POST'])
def alert():
    data = request.json
    alerts = data.get('alerts', [])
    
    if not alerts:
        return 'No alerts found', 400

    # 最初のアラートのsummaryをタイトルに設定
    title = alerts[0]['annotations'].get('summary', '')
    
    # 各アラートのインスタンスをメッセージに追加
    message_lines = []
    for alert in alerts:
        instance = alert['labels'].get('instance', '')
        message_lines.append(f"- Target：{instance}")
    
    message = "\n".join(message_lines)
    
    # PowerShellスクリプトを実行し、タイトルとメッセージを渡す（スクリプトのパスを指定）
    subprocess.run(["powershell.exe", "-File", "<Path>\\notify.ps1", "-title", title, "-message", message])

    return '', 200

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=5000)

# notify.ps1

param (
    [string]$title = "no title",
    [string]$message = "no message"
)

Add-Type -AssemblyName System.Windows.Forms

# 通知オブジェクトを作成
$notify = New-Object system.windows.forms.notifyicon
$notify.icon = [System.Drawing.SystemIcons]::Error
$notify.visible = $true

# balloontipを表示
$notify.showballoontip(20, $title, $message, [system.windows.forms.tooltipicon]::Error)

# balloontipが表示されるようにSleep
Start-Sleep -Seconds 20

# 通知を非表示
$notify.visible = $false
$notify.dispose()

PowerShellコマンド実行
Flaskをインストール（Python Webアプリのフレームワーク）
> pip install flask

Pythonスクリプト（webhook_server.py）を実行
> python webhook_server.py