ログパターンは、検索せずにログデータの価値を発見する最速の方法です。
ログデータは大量のテレメトリであり、個々のレコードあたりの価値は低い。検索すれば、根本的な原因を説明するログをすぐに見つけることができますが、ほとんどのデータは反復的で、閲覧時に文脈を理解するのは困難です。パターンは、価値の低いデータを読むのに多くの時間を費やすことなく、ログデータを発見できるようにします。
one.newrelic.com > All capabilities > Logs > Patterns: ログ パターンは、余分な検索に時間を費やすことなく、ログ メッセージの不審なスパイクやドロップを特定するのに役立ちます。
技術概要
ログパターン機能は、機械学習を応用して、フォーマットは一貫しているが内容にばらつきがあるログメッセージを正規化してグループ化します。グループ化されたメッセージはソートされ、環境内で最も頻繁に発生するログや最も稀なログのセットを簡単に見つけることができます。
パターンを利用して、重要なデータの頻度が変化したときに警告を発したり、不要な繰り返しデータを削除するドロップルールを設定したりすることができます。
ログパターンは、高度なクラスタリングアルゴリズムを使用して、類似したログメッセージを自動的にグループ化します。パターンを使用すると、以下のことが可能になります。
- 数百万件のログをより早く解析することができます。
- ログエステートの異常な動作を発見するまでの時間を短縮します。
- 既知のパターンの頻度を長期的にモニタリングし、重要なものにエネルギーを集中させ、無関係なものを除外する。
入手方法
ログ UI で Patterns are turned off [パターンがオフになっていると] 表示された場合は、 Configure patterns [パターンの構成] をクリックして有効にします。機能を有効にしてから 30 分以内にパターンが表示されない場合は、システムがパターンを作成するためのメッセージ属性を持つデータが不足している可能性があります。
ログパターン | 限界と検討事項 |
|---|---|
価格 | ログパターンには個別の価格設定はありません。唯一のコストは、生成された追加データがログ記録に追加された場合です。 パターン属性は、パターンにマッチするすべてのログに追加されます。また、GUID、IPアドレス、URL、電子メールアドレスなどの共通の値が見つかった場合にも、属性が追加されることがあります。これらの属性は、パターン処理の一環として、ログメッセージから自動的に抽出されます。 |
ヒットラスト・アカウント | ログパターン機能はFedRAMPに準拠していません。FedRAMPまたは他のHITRUSTアカウントはパターンを使用することができません。 |
ログのパターンマッチングの制限 | ログをパターンに照合する際に、メモリやCPUのリソースに安全制限を設ける仕組みがあります。これらのマッチング制限は、ログパターンにグループ化できるログの割合に影響を与えます。しかし、ログ パターン マッチングは"ベストエフォート" プロセスです。すべてのログがパターンによってグループ化される機会がなくてもエラーではありません。リソースの制限内で行うことができるグループ化からも価値を得ることができます。 |
始めましょう
パターンの検討を始めるために
- one.newrelic.com > All capabilities > Logsに移動し、アカウント ピッカーのドロップダウンを使用して、パターンを調査するターゲット アカウントを選択します。
- ログ UI の左側のナビゲーションで、 Patterns [パターン]をクリックします。
メインログUIが変更され、クエリバーのクエリに一致するパターンが表示されます。特定の期間のログを表示するには、チャート上のそのポイントをクリックする（または領域をクリックしてドラッグする）か、タイムピッカーを使用します。
ログパターンの探索
デフォルトでは、ログパターンのUIでは、最も頻繁に発生するパターンが最初に表示されます。稀なパターンを最初に表示するようにソートするには、 Count カラムをクリックします。また、クエリバーや属性バーを使用して、ログパターンをフィルタリングすることもできます。
あなたがしたい場合は... | これを行う... |
|---|---|
パターンの変化率を理解する | 折れ線グラフを見てみましょう。色分けされたパターンは、表の plot の列に対応しています。個々の plot パターンを切り替えて、焦点を絞ることができます。 |
各パターンにマッチする個々のログメッセージを見る | パターン をクリックすると、行が展開され、個々のログレコードの表が表示されます。
|
パターンの属性によるグループ化とフィルタリング | クエリバーとタイムピッカーを使用します。異なるフィルターや時間帯を適用すると、ログのパターンが新しいターゲットデータに合わせて調整されます。 |
パターンからアラートを作成 | クエリバーにパターンを追加し、クエリを実行します。次に、左のナビで Create alert condition をクリックします。 |
パターン化されていないログメッセージのトラブルシューティング | Logs with no pattern タブ Log patterns UI で使用します。 |
特定のログ メッセージをクリックすると、ログ UI で使い慣れたログ メッセージの詳細パネルが開きます。
パターンのないログの探索
Logs with no pattern タブは、まだ既知のパターンにクラスタリングされていないアカウントのすべての最近のログメッセージをグループ化します。これらのログメッセージは、システムの問題や欠陥を表しているわけではありません。機械学習システムによって処理されるには新しすぎるため、パターンがありません。そのため、最近環境が変わったことを理解したい場合には、これらのログメッセージを調査する価値があります。
例えば：
- これらのログの中に、最近の問題に関連するものはありますか？これは、お使いの環境で初めて出現するユニークなログデータを発見するための簡単な方法です。
- あなたのログデータは新しいフォーマットになっていませんか？時には、ログが問題を表しているのではなく、アプリケーションに期待されているデータモデルから逸脱した新しいフォーマットのログデータであることがあります。
このようなログを早期にキャッチすることで、開発者にログ出力の逸脱を修正するよう求めることができます。ログデータの生成方法に一貫性があればあるほど、多様なチームでログを使用することが容易になります。
マスクされた属性とワイルドカード
パターン内のログメッセージの一部は変数として分類され、マスキングされた属性で置き換えられます。マスキングプロセスは、アルゴリズムが変化する詳細を無視し、反復的な構造に焦点を当てることを可能にすることで、クラスタリングフェーズをサポートし、改善します。
マスクされた属性は以下の通りです。
date_timeipurluuid
以下の例のように、マスクされたアトリビュートはハイライトされ、簡単に識別できます。
ログパターンは、マスクされた属性に属していない他のささいな変数を抽出します。これらの変数は、ワイルドカード*として示されます。
トラブルシューティング
パターンを有効にしているにもかかわらず、パターンデータが表示されない理由は以下の通りです。これらの項目に当てはまらないと思われる場合は、 support.newrelic.com までお問い合わせください。
- ご覧になっている時間帯にデータが届いていません。タイムピッカーで表示する時間帯を広げてみてください。
- アカウントでパターンが有効になってから24時間経っていません。つまり、このアカウントにはまだMLモデルが生成されていない可能性があります。
- 入ってくるデータには、
messageフィールドがありません。パターンは、ログレコードのmessageフィールドの値に対してのみ生成されます。ログにmessageが含まれていない場合、データはありません。
プラットフォームをパターンで活用する
パターンは、 newrelic.logPatternという名前の新しい属性として既存のログメッセージに追加される値です。ログを使用して実行できることはすべて、通常、次のようなログパターンを使用して実行できます。