Loggingのご利用方法に関してご説明いたします。アラート機能を提供するサービスです。手間のかかるログ管理タスクからお客様を解放し、お客様はビジネスに集中することができます。主な提供機能は以下の通りです。・Cloudnの他のサービスと同様に、初期投資は不要であり、お支払いいただくのは使用したリソースの分のみで、データ転送(I/O)は無料です。・ログサーバは冗長化構成をとることができます(提供時期検討中)。お客様のクライアントでログの振り分け設定を頂くと、ログサーバに障害が発生した場合に処理を継続できます。Storageへバックアップを実施します。Storageを利用している必要があります。※本サービスは以下のオープンソース・ソフトウェアを利用してサービス提供しております。Service(AWS)では存在しません。簡単に基本概念を説明します。LoggingServerGroup(ログサーバグループ)複数のLoggingServer(ログサーバ)を束ねる単位です。このLoggingServerGroupにLoggingServerを追加することでクラスタを組み、冗長化構成を取ることが可能です(提供時期検討中)。LoggingSource(ログソース)、LoggingSecurityGroup(ログセキュリティグループ)、LoggingFilter(ログフィルタ)等、ログサーバへ反映される各種設定をここで行います。本オブジェクトは、お客様が最初に作成を行うオブジェクトになります。2014年6月5日時点では、LoggingServerGroupにLoggingServer1個までという制約を設けています。LoggingServer(ログサーバ)ログ収集機能を実現するサーバインスタンスです。本サーバ上のログ収集用のポートに向け、お客様がログを送信することで、ログの蓄積、検索ができるようになります。LoggingSource(ログソース)ログサーバに対するログの収集方法を規定します。LoggingServerGroupを作成すると、デフォルトで2つのログソースが作成されます。ポート番号24224)LoggingSecurityGroup(ログセキュリティグループ)ログサーバへアクセス制御設定する単位です。アクセス元のIPアドレスとポート番号によるホワイトリスト形式で登録します。LoggingFilter(ログフィルタ)収集したログデータからマッチ条件に合致したログを抽出することができます。LoggingAction(ログアクション)と組み合わせて利用することでマッチした場合のアクションを実行することができます。マッチ条件には正規表現を利用します。LoggingAction(ログアクション)LoggingFilter(ログフィルタ)でマッチ条件に合致したログに対するアクションを定義します。LoggingFilterと組み合わせ、ログ内に特定のキーワード(例:FATAL)にマッチした場合にメール通知を行うことができます。ご利用頂くにあたっては、以下のものをご用意ください。インターネットに接続するための機器パソコンやモデム等、イントラネット/インターネットに接続する為に必要な機器をご用意ください。インターネットに接続するためのサービスインターネットへ接続するためのサービスをご用意ください。ADSL接続サービス、スーパーOCN等の常時接続サービスなど。※他社のインターネット接続サービスでもご利用いただけます。※御社内にてプロキシサーバーを利用されている場合は、「https(ポート番号443)」が開放されていることをご確認下さい。fluentdのin-forwardログを送信する機能が必要です。「【クラウド・エヌ】ご利用内容のご案内」メール開通時に送付される「【クラウド・エヌ】ご利用内容のご案内」をご用意してください。Storageのご利用が必要です。Loggingサービスを利用開始する流れは以下の通りです。1Cloudnポータルにログインし、ご利用いただいているリージョンの「Logging」アイコンへのマウスオーバーにて表示される「利用開始」をクリックします。2Loggingサービスのお申込みが完了します。Loggingサービスを利用開始します。3ご利用いただいているリージョンの「Logging」アイコンへのマウスオーバーにて表示される「コンソールへ」をクリックします。マニュアル」に関する情報へのリンクが表示されます。Loggingサービスの設定の流れは以下の通りです。ログサーバグループを作成する」が完了すれば、ログサーバ、ログセキュリティグループ、ログソースが自動作成されます。ログセキュリティグループにセキュリティルールを追加する」が完了すれば、ログサーバではログを受信できます。ログ検索画面(Kibana)を利用できます。Cloudnのログサーバへログ送信するための設定をします。ログフィルタを作成し、ログアクションを関連付ける」を実行することで、収集したログデータから検索条件にマッチした場合、事前に定義したアクションを実行できます。ログサーバーグループを作成するログサーバグループ(LoggingServerGroup)を作成する流れは以下の通りです。ログサーバグループを作成するリクエストを作成します。typeがsyslog(ポート番号5140)を1個、fluentdのin-forward(ポート番号24224)を1個)、自動作成されます。ログサーバ、ログセキュリティグループのIdentifierは自動付与されます。APIマニュアルの「2-2)リクエストを作成する」をご参照ください。ここでは、ログサーバグループ名を”TestGroup”(図中1)とします。ログサーバ名は”TestGroup0”(図中2)で自動生成されます。ログセキュリティグループ名は”TestGroup”(図中3)で自動生成されます。“td”(図中5)で自動生成されます。ログセキュリティグループにセキュリティルールを追加するログセキュリティグループ(LoggingSecurityGroup)にセキュリティルールを追加する流れは以下の通りです。「2-2)ログサーバグループを作成する」にて、自動生成されたログセキュリティグループに対し、セキュリティルールを追加するリクエストを作成します。可するログ送信元のIPアドレスレンジ(CIDR形式)とポート番号を追加します。APIマニュアルの「2-2)リクエストを作成する」をご参照ください。APIを利用して、セキュリティルールを追加します。ログセキュリティグループ”TestGroup”に関連付け、接続許可します。fluentdのin-forward(TCP/UDP)の2種類を許可する設定を行います。お客様の端末でログ検索できるようにするため、ログ検索用に以下のセキュリティルールを許可します。ログセキュリティグループ”TestGroup”に関連付け、接続許可します。セキュリティルールを定義していない状態では、全遮断となり、ログサーバへ接続できません。152-4)ログサーバへのログ転送設定をするログサーバへログ転送するための設定には、syslogを使う方法、fluentdのin-forwardを使う方法の2通りがあります。1syslogでログ転送する場合のログ送信サーバの設定をします。LTS)を例に説明します。ログ送信サーバにて、下記コマンドを実行し、rsyslogをインストールします。ログ送信サーバにて、/etc/rsyslog.confを下記コマンドで編集します。rsyslog.confに下記の一行を追加します。APIでログサーバのIPアドレスを調べることができます。上記3の設定を読み込ませるため、rsyslogを再起動します。rsyslogのプロセス起動を確認します。ログ転送の確認のため、ログ送信サーバ上で下記のコマンドを実行します。ここでは、”FATAL”というmessageを送信します。DashBoard”のリンクをクリックします。FATAL)が表示されることを確認します。アラートメールが通知されることを確認します。ログアクションを作成する」で、ActionValueにメールアドレスを設定した場合、メール通知を確認できます。182-4)ログサーバへのログ転送設定2fluentdのin-forwardでログ転送する場合のログ送信サーバの設定をします。LTS)を例に説明します。ログ送信サーバで、下記コマンドを実行し、fluentdをインストールします。ログ送信サーバで、/etc/td-agent/td-agent.confを下記コマンドで編集します。td-agent.confに以下の設定を追記します。APIでログサーバのIPアドレスを調べることができます。上記3の設定を読み込ませるため、fluentdを再起動します。fluentdのプロセス起動を確認します。ログ転送の確認のため、ログ送信サーバ上で下記のコマンドを実行します。ここでは、”FATAL”というmessageを送信します。DashBoard”のリンクをクリックします。上記6のログが表示されることを確認します。アラートメールが通知されることを確認します。ログアクションを作成する」で、ActionValueにメールアドレスを設定した場合、メール通知を確認できます。212-4)ログサーバへのログ転送設定3ログ送信元のサーバからログサーバへ正しくログが送信されない場合、以下の事項をご確認ください。APIでご確認ください。ログ送信サーバをセキュリティグループで許可されていること。「2-3)ログセキュリティグループにセキュリティルールを追加する」をご参照ください。syslogの場合、ログ送信サーバ上のsyslogファイルにログが出力されていること、また、転送設定先のサーバのプロトコル、IPアドレス、ポート番号が正しいことをご確認ください。fluentdのin-forwardの場合、ログ送信サーバ上のfluentdのログを確認し、エラーが出ていないこと、また、転送設定先のサーバのプロトコル、IPアドレス、ポート番号が正しいことをご確認ください。ログアクションを作成するログアクション(LoggingAction)を作成する流れは以下の通りです。ログアクションを作成するリクエストを作成します。ログフィルタを作成する」にて、ログフィルタ(LoggingFilter)で指定したマッチ条件に合致したときのアクションを設定します。2014年6月5日時点では、メール送信機能のみの指定となります。APIマニュアルの「2-2)リクエストを作成する」をご参照ください。ここでは、ログアクションの識別子(Identifier)を”MailToMailAddress”とします。アクションのタイプ(2014年6月5日時点では、メール送信機能のみ)とアクションへの引数(通知先のメールアドレス)を設定します。メールアドレス(指定可能な文字数は1~255文字。ログフィルタを作成するログフィルタ(LoggingFilter)を作成する流れは以下の通りです。ログフィルタを作成するリクエストを作成します。収集したログデータからマッチ条件に合致したログを抽出することができます。LoggingAction(ログアクション)と組み合わせて利用することでマッチした場合のアクションを実行することができます。マッチ条件には、Ruby1.9.3の正規表現を利用します。索対象は1メッセージの全文マッチ検索に対応しています。APIマニュアルの「2-2)リクエストを作成する」をご参照ください。ここでは、ログフィルタ名を”TestFilter”とします。ログサーバグループと関連付けます。“FATAL”というマッチ条件をログフィルタに登録します。収集したログデータにおいて、”FATAL”というマッチ条件に合致すると、「2-4)ログアクションを作成する」で登録したアクション(2014年6月5日時点では、メール送信機能のみ)が実行されます。ログフィルタを作成する1正規表現により正しくアラート対象のログが抽出できるかを事前にお客様のサーバで確認することをお勧めいたします。1.9.3がインストールされていることが必要です。以下のコマンド例をお客様の端末やサーバ上で実行することで正規表現の正しさを確認できます。正規表現コマンド実行により、抽出したいログのみが抽出されているかをご確認ください。ログサーバグループを削除するログサーバグループ(LoggingServerGroup)を削除する流れは以下の通りです。1•ログサーバグループを削除するリクエストを作成します。APIを利用し、ログサーバグループを削除します。APIマニュアルの「2-2)リクエストを作成する」をご参照ください。ここでは、ログサーバグループ名を”TestGroup”(図中1)とします。ログサーバグループを削除するログサーバグループ(LoggingServerGroup)を削除する流れは以下の通りです。ログサーバグループを削除するログサーバグループ(LoggingServerGroup)を削除する流れは以下の通りです。&lt;/Cidr&gt;&lt;Port&gt;443&lt;/Port&gt;&lt;/Rule&gt;&lt;/Rules&gt;&lt;/SecurityGroup&gt;&lt;/SecurityGroups&gt;&lt;/Group&gt;&lt;/DeleteLoggingServerGroupResponse&gt;ログサーバグループを削除すると、そのログサーバグループに関連するログサーバ、ログソース、ログセキュリティグループ、ログフィルタも同時に削除されます。ログフィルタは個別に削除できます。ログフィルタを削除する」をご参照ください。ログフィルタを削除するログフィルタ(LoggingFilter)を削除する流れは以下の通りです。1•ログフィルタを削除するリクエストを作成します。APIを利用し、ログフィルタを削除します。•ログフィルタを削除することにより、アラートで通知する条件を削除することができます。APIマニュアルの「2-2)リクエストを作成する」をご参照ください。ここでは、ログフィルタ名を”TestFilter”(図中1)とします。ログアクションを削除するログアクション(LoggingAction)を削除する流れは以下の通りです。1•ログアクションを削除するリクエストを作成します。APIを利用し、ログアクションを削除します。APIマニュアルの「2-2)リクエストを作成する」をご参照ください。ここでは、ログアクション名を”MailToMailAddress”(図中1)とします。ログアクションを削除する際には、予め関連付けられているログフィルタの削除が必要です。ログ検索画面へアクセスするログサーバに収集されたログ情報をログ検索画面で確認できます。ログ検索画面(Kibana)へアクセスする流れは以下の通りです。APIを使い(図中1)、ログサーバのIPアドレスを調べます。ログ検索画面へアクセスするログサーバに収集されたログ情報をログ検索画面で確認できます。ログ検索画面(Kibana)へアクセスする流れは以下の通りです。1お客様の端末でログ検索できるため、お客様の端末のIPアドレスに対し、ポート番号443がセキュリティグループで許可されていることを確認します。ログ検索画面へアクセスするログサーバに収集されたログ情報をログ検索画面で確認できます。ログ検索画面(Kibana)へアクセスする流れは以下の通りです。12.ブラウザで、https://(ログサーバのIPアドレス)にアクセスします。Dashboard”のリンクをクリックします。Dashboard”が表示されます。ログ検索画面でパネルを作成するログ検索画面(Kibana)にて、パネル(PANEL)を新規作成する流れは以下の通りです。1パネル(PANEL)を作成します。Settingsが表示されます(図中1)。ここでは、パネル(チャート等を挿入する行)の追加作業を行います。Rowを押下します(図中4)。行が一行増えたことを確認し(図中1)、Saveを押下します(図中2)。パネルを追加し、チャートを表示できるようにします。チャートを登録します。登録内容は下図をご参照ください。terms等、を選択できます。ここではhistogramを選択します。(図1)設定完了後、Saveを押下します。histogramが作成されます。2もう一つ別なパネルを作成します。tableを作成します。ログ検索画面でパネルを作成する3名前を付けて保存します。右上のフロッピーボタンを押下し、名前をつけて保存します。ここでは”Sample”とします。ログ検索画面でクエリーを実行するログ検索画面(Kibana)にて、クエリー(QUERY)を実行する流れは以下の通りです。QUERYをクリックし、検索キー入力画面(図中1)を表示します。Fieldを指定して検索キーを入力(図中1)し、検索ボタンを押下します(図中2)。下記の例では、”message”というFieldに対して、”FATAL”という文字列を検索キーに指定しています。tableの”Sample-1”上でも検索結果が表示されます。Syntax(http://lucene.apache.org/core/2_9_4/queryparsersyntax.html)をご参考ください。以下に検索条件の記載方法例をいくつか紹介します。ログ検索画面でフィルタリングを実行するログ検索画面(Kibana)でフィルタリング(Filtering)を実行する流れは以下の通りです。フィルタリングの結果、現在から過去7日前の期間(図中1、2)のデータが表示されます(図中3)。tableの”Sampe-1”でも、検索結果が表示されます。細なデータを表示できます。Loggingの留意事項を説明します。本機能の提供は東日本リージョンのみとなります。Storageをあらかじめご利用中の状態にしていただく必要があります。Storage利用料として、Cloudnご利用料金明細へ記載されます。本ログデータは自動的には削除されませんので、不要な場合、お客様自身での削除が必要となります。Storageに保管されたログは自動的に削除されません。Storageにバックアップされたログの削除操作を行わない限り、ログは残存し、課金対象となります。契約者が作成できるログサーバの数は1個までとします(複数のログサーバによる冗長構成は提供時期検討中)。過負荷や故障を検知した場合、お客様に予告なく、ログサーバの再起動や、別のサーバへの移設を行う場合があります。故障によりやむを得ずサーバ復旧ができない場合、サーバのログデータがロストする場合があります。Storageに従います。ログのロストがないことを保証するサービスではないことを予めご了承ください。syslogはUDPプロトコルを利用しており、ログのロストが発生することを前提にご利用ください。合、ログのロストが発生する場合があります。ログサーバの過負荷を防止するため、ログサーバのネットワークに帯域制限を設けています。ログフィルタ機能にマッチしたメール送信機能に関して、マッチしたログの量が5分間で300メッセージを超えた場合、メールの送信をいたしません。制限がかかった場合、最大5分後からメール送信を再開します。ログフィルタのマッチ条件には、Ruby1.9.3の正規表現を利用します。検索対象は1メッセージの全文マッチ検索に対応しています。セキュリティルールを定義していない状態では、全遮断となり、ログサーバへ接続できません。ログサーバがログ収集できるようにする場合、ログ収集用に以下のセキュリティルールを許可します。2014年6月5日時点では、ログアクションで選択できる機能はメール送信のみとなります。ログアクションを削除する際には予め関連付けられているログフィルタの削除が必要です。ログサーバの性能情報がお客様のディスク領域に定期的に出力されます。Logstash形式(http://logstash.net/)で保存され、お客様自身でログサーバの性能情報を確認できます。ExploreDocDMCAReport。