Scorecardsテンプレートライブラリは、エンジニアリングおよびビジネスのユースケースに対処するための合理化された方法を提供します。大企業のベストプラクティスを使用することで、ライブラリは一般的なエンジニアリングの課題に対するソリューションを提供します。
ライブラリ内の各テンプレートは、組織の基準を満たすように完全にカスタマイズ可能です。クエリ、ルール、および閾値を変更して、ニーズに合わせてScorecardsを調整できます。
一部のテンプレートでは、ルールに成熟度レベル（L0からL3）のラベルを付けています。
スコアカードテンプレート
目的:定義された目標、集中設定、および最近のデプロイメント アクティビティをチェックすることにより、サービスが実稼働デプロイメントの準備ができているかどうかを検証します。
重要: 本番環境にデプロイする前に、準備のギャップを見つけるのに役立ちます。
前提条件:
主なルール:
Defined SLOs: パフォーマンスと信頼性の明確なターゲットを確立します。
APM service alerts configuration: プロンプトの問題検出のためにアラートが設定されていることを確認します。
Recent deployments: 過去1か月以内に成功したデプロイメントを検証します。
Runbook availability: 過去1か月にトリガーされたアラート条件のランブックが存在することを確認します。
目的：cloud運用におけるセキュリティと冗長性に関するAWS基準に対する信頼性を評価します。
重要度: クラウドインフラストラクチャの信頼性とセキュリティのギャップを見つけるのに役立ちます。
前提条件: New Relic AWS監視
主なルール:
- EFS Encrypted check: Elastic File System（EFS）ボリュームの暗号化を確認します。
- RDS Instance check retention period：リレーショナルデータベースサービス（RDS）のバックアップ保持期間を確認します。
- RDS DeletionProtection check: 削除保護を検証します。
- RDS MultiAZ presence check: 複数のアベイラビリティゾーン（MultiAZ）にわたるデプロイメントを確認します。
- RDS AutoMinorVersionUpgrade check: マイナーバージョンの自動アップグレードを確認します。
目的:主要パフォーマンス指標を使用して、リソースの割り当てとプロセスの改善を評価します。
重要度:ソフトウェア配信のパフォーマンスを定量化し、戦略的な意思決定を支援します。
前提条件:
主なルール:
Deployment frequency: 成功したデプロイメント率を追跡します。
Mean time to recovery: 障害からの回復時間を測定します。
Change failure rate: 障害につながる変更の割合を追跡します。
Lead time for changes: コードのコミットからデプロイメントまでにかかる時間を測定します。
目的: 組織内のリソースに対して一貫したタグ付けのプラクティスを確立し、適用します。
重要: 一貫したタグは、マップやカタログなどのビュー全体でサービスをフィルタリングおよびグループ化するのに役立ちます。
前提条件： APM
主なルール:
- Team Tag Exists：明確な所有権と説明責任のために、サービスに所有チームのタグが付与されていることを確認します。
- Environment Tag Exists: フィルタリングとグループ化のために、サービスに一貫した環境タグが付与されていることを確認します。
- APM Criticality is set: サービスにビジネス上の重要度によって優先順位を付けるための重要度タグがあることを確認します。
目的： 包括的なタグ戦略を確立し、サービスの依存関係と関係性を完全に可視化します。
重要度: タグ、関係性、トレース、および外形監視カバレッジのギャップを強調表示し、それらに対処できるようにします。
前提条件:
主なルール:
(L0) Team Tag Coverage:
teamタグが欠落しているエンティティを特定します。(L0) Environment Tag Coverage:
environmentタグが欠落しているエンティティを識別します。(L0) Uninstrumented Entities: 追加の計装を必要とする、関係が不明なHTTPサービスおよびデータベースエンティティにフラグを付けます。
(L0) Distributed Trace Coverage: ディストリビューティッド（分散）トレーシングデータを出力するAPMエンティティの割合を測定します。
(L0) Synthetic Coverage：外形監視モニターでカバーされているAPMエンティティの割合を測定します。
目的： サービスの信頼性のために、包括的なアラート戦略とインシデント管理アプローチを開発します。
重要: 重要なサービスを優先できるように、集計のギャップ、ノイズ、SLIカバレッジを強調表示します。
前提条件:
主なルール:
(L1) Infrastructure Alert Coverage：集計カバレッジが不足しているホストおよびKubernetesポッドを識別します。
(L1) Service Delivery Alert Coverage: 集計カバレッジが不足しているサービス、ブラウザ、モバイル、およびSyntheticモニターを特定します。
(L1) Critical Alert Coverage: アラート疲れを引き起こす可能性のある重大なアラート条件への過度の依存にフラグを立てます。
(L1) Alert Noise: 大量のインシデントを生成するポリシーを特定します。
(L2) Service Level Coverage: エンティティに定義されたサービスレベル指標（SLI）があるかどうかを確認します。
(L2) Alerts Mean Time To Close: インシデントをクローズするのにかかる時間を評価し、30分以内の解決をターゲットとします。
(L2) APM Criticality Tag Coverage:
criticalityタグが欠落しているエンティティを特定します。(L3) Service Level Attainment：デフォルトの閾値95％を使用して、定義された各SLIのコンプライアンススコアを評価します。
目的: CPUとメモリの使用量を監視し、Change Tracking (変更追跡機能)を統合し、脆弱性を検出することで、効率的なリソース使用と堅牢なセキュリティプラクティスを強調します。
重要性: リソース、Change Tracking (変更追跡機能)、およびセキュリティの標準を遵守することで、効率的で安全なインフラストラクチャを運用できます。
前提条件:
主なルール:
(L1) CPU Utilization: インフラストラクチャエンティティのCPU使用率の95番目のパーセンタイルを、効率性のベストプラクティスと照らし合わせてチェックします。
(L1) Memory Utilization: インフラストラクチャエンティティのメモリ使用量の95番目のパーセンタイルを効率性のベストプラクティスに照らして確認します。
(L2) Change Tracking: APMエンティティ全体でChange Tracking (変更追跡機能)イベントをチェックします。
(L3) Service Vulnerabilities: 検出された脆弱性を持つAPMエンティティの割合を確認します。
目的: JavaScriptエラー、HTTP 5xxエラー、およびコアウェブバイタルのメトリクスを通じて、フロントエンドのパフォーマンスとユーザーインタラクションをモニターします。
重要: フロントエンドエラーとCore Web Vitalsの標準を遵守することで、強力なユーザー体験を維持できます。
前提条件:
主なルール:
(L1) JS Error Rate: JavaScriptエラーのあるブラウザーエンティティの割合を確認します。
(L1) Service Error Rate: HTTP requestsで5xxエラーを報告しているAPMサービスの割合をチェックします。
(L2) Core Web Vitals: Largest Contentful Pane (LCP)：75番目のパーセンタイルのLCPが2.5秒を超えるエンティティにフラグを立てます。
(L2) Core Web Vitals: Interaction to Next Paint (INP): INPの75番目のパーセンタイルが200ミリ秒を超えるエンティティにフラグを付けます。
(L2) Core Web Vitals: Cumulative Layout Shift (CLS)：75番目のパーセンタイルのCLSが0.1を超えるエンティティにフラグを付けます。
(L3) Service Level Attainment：デフォルトの閾値95％を使用して、定義された各SLIのコンプライアンススコアを評価します。
目的: APMサービスおよびインフラストラクチャ全体の脆弱性リスクを評価します。
重要: クリティカルおよび高重大度の脆弱性、アクティブなランサムウェアCVE、およびエクスプロイトの可能性を表面化させることは、修復の優先順位付けに役立ちます。
前提条件:
主なルール:
APM: Under 3 Critical Severity: APMサービスの重大な脆弱性が3つ未満であることをチェックします。
APM: Under 5 High Severity: APMサービスに高深刻度の脆弱性が5つ未満であることを確認します。
APM: Active Ransomware: アクティブなランサムウェアキャンペーンがある報告されたCVEにフラグを立てます。
APM: Exploit Probability：悪用される可能性が高いクリティカルまたは重大度の高い脆弱性にフラグを付けます（95番目以上のパーセンタイルEPSS）。
INFRA: Under 3 Critical Severity: ホストまたはコンテナに、クリティカルな重大度の脆弱性が3つ未満であることを確認します。
INFRA: Under 5 High Severity: ホストまたはコンテナに、重大度の高い脆弱性が5つ未満であることをチェックします。
INFRA: Active Ransomware: アクティブなランサムウェアキャンペーンがある報告されたCVEにフラグを立てます。
INFRA: Exploit Probability：悪用される可能性が高いクリティカルまたは重大度の高い脆弱性にフラグを付けます（95番目以上のパーセンタイルEPSS）。
目的: 安全性、コスト効率、およびモデルのコンプライアンス全体にわたるAI応答の運用品質とガバナンスを測定します。
重要: AIの品質とガバナンスの標準を遵守することで、AIの利用を責任ある費用対効果の高い状態に保つことができます。
前提条件: AIモニタリング
主なルール:
- LLM Runtime Error Rate：LLM対応アプリケーションが低い運用エラー率を維持していることを確認します。
- Cost Efficiency - Average tokens per assistant response: アシスタントの応答あたりの平均トークン数が予算内に収まっていることを確認します。
- Model Governance - Approved model usage for assistant responses: 本番環境でのアシスタントの応答に、承認されたモデルのみが使用されていることを確認します。