私は、OpenJDKのCommitter業や仕事でミドルウェアのSolution Architectとして活動している関係上、最近はコンテナ上でJavaアプリケーションを動かすことが非常に多いです。
KubernetesでJavaアプリを監視する場合には、Elasticsearch+KibanaやPrometheus+GrafanaなどでログやMBeanを監視する方法が一般的に行われています。
Java 11では有償JDKに含まれていた機能がOpenJDKへ寄贈され、JDK Flight Recorder (JFR)として生まれ変わりました。JFRはJVMの内部の情報やその上で動くJavaアプリケーションの様々な情報をほとんど負荷無く記録し、ファイルとして取得できます。このファイルをJDK Mission Controlなどのツールを使って確認し、これまでより詳細に分析できます。
これまででも、コンテナ環境においてもJFRを使用できました。しかし、記録の開始・停止などの管理やファイルとしての取得などを運用する環境を効率よく構築するのは非常に大変でした。
そこで誕生したのが Cryostat （旧名：ContainerJFR）です。Cryostatはコンテナ上で動いているJavaアプリケーションに接続して、JFRを管理します。また、JFRの情報分析結果の簡易レポートの表示やJFRファイルのダウンロードができるWeb UIが用意されている他、JFRで記録された情報をGrafanaへ取込できるため、問題発生時に非常に役立つツールになっています。これはKubernetes Operatorも用意されており、環境の構築も簡単にできます。
JFRの情報をGrafanaで確認
今回は、Kubernetes上にCryostatをインストールする方法、サンプルのJavaアプリケーションを監視する方法、分析に役立つツールへのアクセス方法を紹介します。
また、今回は用意した環境の都合上、KubernetesとしてOpenShiftを使用します。
今回の環境
OpenShift 4.5のクラスタ（Azure Red Hat OpenShift、Red Hat OpenShift Service on AWSも可）
クライアントとなるRHEL 8.2
OpenShiftへCryostatをインストール
Kubernetes上でCryostatを使う場合にはCryostat Operatorを使用すると便利です。Cryostat OperatorをはOperatorHub.ioに無いため、自らビルドする必要があります。
Operator SDKをインストール
Cryostat OperatorはOperator SDKに依存関係を持っています。そのため、Cryostat Operatorをインストールするには、まずOperator SDKをインストールします。
export ARCH= $( case $ ( uname -m ) in x86_64 ) echo -n amd64 ;; aarch64) echo -n arm64 ;; *) echo -n $( uname -m ) ;; esac)
export OS= $( uname | awk ' {print tolower($0)} ' )
export OPERATOR_SDK_DL_URL= https://github.com/operator-framework/operator-sdk/releases/download/v1.8 .0
curl -LO ${OPERATOR_SDK_DL_URL} /operator-sdk_${OS} _${ARCH}
chmod +x operator-sdk_${OS} _${ARCH} && sudo mv operator-sdk_${OS} _${ARCH} /usr/local /bin/operator-sdk
参考：Installation | Operator SDK
Cryostat OperatorをOpenShiftへインストール
Operator SDKがインストールし終わったらCryostat Operatorをインストールしましょう。
まずは、OpenShiftへログインして今回使用したいプロジェクト（名前空間）を指定します。
oc login -u [ ユーザ名] -p [ パスワード] [ APIのURL]
oc project [ プロジェクト名]
次に、Cryostat Operatorのビルドに必要なmakeとgoをインストールします。そして、Cryostat Operatorのソースコードを落としてからmakeコマンドでビルドしてインストールします。
sudo yum install -y make go
git clone https://github.com/cryostatio/cryostat-operator.git
cd cryostat-operator
make cert_manager
make deploy_bundle
参考：GitHub - cryostatio/cryostat-operator: An OpenShift Operator to facilitate setup and management of Cryostast and expose the Cryostat API through Kubernetes Custom Resources.
Cryostat Operatorがインストールされたことを確認します。
oc get deployments cryostat-operator-controller-manager
以下のように表示されていれば成功です。
NAME READY UP-TO-DATE AVAILABLE AGE
cryostat-operator-controller-manager 1 /1 1 1 1h
OpenShiftの場合はWebコンソールのInstalled Operatorsで表示される一覧に追加されています。
Webコンソールで確認
Cryostatをデプロイ
Cryostat Operatorのインストールが終わったので、Cryostatをデプロイしてみましょう。
cat <<EOF > cryostat.yaml
apiVersion : operator.cryostat.io/v1beta1
kind : Cryostat
metadata :
name : cryostat-sample
spec :
minimal : false
EOF
oc create -f cryostat.yaml
参考：cryostat-operator/config.md at main · cryostatio/cryostat-operator · GitHub
ここではmetadata.nameに名前を設定します。spec.minimalは最小構成でインストールするかどうかを表します。最小構成はCryostatのみをインストールします。最小構成ではカスタマイズされたGrafanaとその関連ツールはインストールされません。カスタマイズされたGrafanaがあると便利なのでfalseにする事をオススメします。
Cryostatがデプロイされたことを確認します。
oc get deployments cryostat-sample
以下のようになっていればデプロイ成功です。
NAME READY UP-TO-DATE AVAILABLE AGE
cryostat-sample 1 /1 1 1 20h
こちらもOpenShiftの場合はWebコンソールのInstalled OperatorからGUIで作成できます。Cryostatタブを選択するとCryostatの一覧を表示します。そこでCreate Cryostatと言うボタンがあるので、ここから作成画面へ遷移します。
Cryostatのページ
Cryostatを作成するページに移動するので、必要な情報を入力してCreateボタンを押せば作成されます。
ここではCLIで作成したとおり、名前をcryostat-sample、最小構成をfalseにして作成しています。
Cryostatを作成
ここまでの作業が完了するとCryostatを使用する準備が完了しました。Webコンソール上のトポロジでは以下のようになっています。
Cryostatインストール後の状況
環境構築はこれで終わりです。JFRを効率よく管理する環境が簡単に作れました。
Cryostat Web UIへのログイン
Cryostatは便利なWeb の UIを提供しており、デプロイが正常に完了していると、このUIへアクセスできるようになっています。このUIへアクセスするにはそのURLが必要になりますが、URLはocコマンドやWebコンソールから確認できます。
ocコマンドでURLを取得する場合は、先ほど作成したcryostat-sampleに対して以下のように実行します。
oc get route cryostat-sample
出力結果のHOST/PORTがCryostatのUIのURLになります。
NAME HOST/PORT PATH SERVICES PORT TERMINATION WILDCARD
cryostat-sample cryostat-sample-jmx-sample3.apps.cluster-2ab2.2ab2.sandbox1193.opentlc.com cryostat-sample 8181 reencrypt None
また、OpenShiftのWebコンソールから確認するには、Installed OperatorsのCryostatからCryostatタブを選択しcryostat-sampleをクリックします。
Cryostat一覧
右下のApplication URLにURLが記載され、リンクもされているのでクリックします。
Cryostatリソースの詳細
このUIへアクセスすると以下のようにトークンを求められます。
Cryostat UIへログイン
以下のコマンドを事項するとトークンが得られます。
oc whoami --show-token
出力されたトークンを入力してログインしましょう。
監視対象のアプリケーションをデプロイ
それでは、Cryostatで監視するJavaアプリケーションをデプロイしましょう。
CryostatではJava Management Extentions (JMX)を介してJFRを管理します。そのため、アプリケーションではJVM引数でJMXを有効化しなければなりません。JMXのポートはデフォルトで9091を監視します。他のポート番号にする場合はServiceのspec.ports.nameをjfr-jmxにして下さい。また、Java Discovery Protocol (JDP)でもJavaアプリケーションを検知できます。こちらについては難易度が高いのでServiceの名前にだけ注意するようにしましょう。
参考：GitHub - cryostatio/cryostat: A container-native JVM application which acts as a JMX bridge to other containerized JVMs and exposes a secure API for producing, analyzing, and retrieving JDK Flight Recorder data from your cloud workloads.
今回はサンプルイメージを用意しましたのでそのイメージを使用します。このサンプルでは以下のようにJMXを有効化しています。
-Dcom.sun.management.jmxremote.port=9091
-Dcom.sun.management.jmxremote.ssl=false
-Dcom.sun.management.jmxremote.authenticate=false
設定の簡素化のために認証は無効化していますが、CryostatはJMXの認証にも対応しているので必要な場合は設定して下さい。
認証の設定方法：https://github.com/cryostatio/cryostat#monitoring-applications
サンプルアプリをデプロイ
それではサンプルアプリケーションをデプロイします。
cat <<EOF > myapp.yaml
apiVersion : v1
kind : List
items :
- apiVersion : apps/v1
kind : Deployment
metadata :
labels :
app : jmx-container-sample
app.kubernetes.io/component : jmx-container-sample
app.kubernetes.io/instance : jmx-container-sample
name : jmx-container-sample
spec :
replicas : 1
selector :
matchLabels :
deployment : jmx-container-sample
template :
metadata :
labels :
deployment : jmx-container-sample
spec :
containers :
- image : 'quay.io/cito/jmx-container-sample:1.0-SNAPSHOT'
name : jmx-container-sample
ports :
- containerPort : 8080
protocol : TCP
- containerPort : 9091
protocol : TCP
- apiVersion : v1
kind : Service
metadata :
labels :
app : jmx-container-sample
app.kubernetes.io/component : jmx-container-sample
app.kubernetes.io/instance : jmx-container-sample
name : jmx-container-sample
spec :
ports :
- name : 8080-tcp
port : 8080
protocol : TCP
targetPort : 8080
- name : jfr-jmx
port : 9091
protocol : TCP
targetPort : 9091
selector :
deployment : jmx-container-sample
EOF
oc apply -f myapp.yaml
サンプルアプリケーションがデプロイされたことを確認します。
oc get deployments jmx-container-sample
以下のように出力されればデプロイされています。
NAME READY UP-TO-DATE AVAILABLE AGE
jmx-container-sample 1 /1 1 1 20h
JFRの管理
サンプルアプリケーションを起動すると、Cryostatによって自動で検知されJFRが有効なJavaアプリケーションと言うことで管理の対象となります。
サンプルアプリケーションがCryostatで管理の対象となったことを確認します。
oc get flightrecorders
以下のようにサンプルアプリのpod名と同じものがあれば成功です。今回はjmx-container-sampleで始まるものがサンプルアプリケーションになります。
NAME AGE
cryostat-sample-5b674ff96c-rshvn 4m10s
jmx-container-sample-8649b7699d-9v2fl 4m21s
CryostatではCryostat自身も管理されるため、先程デプロイしたcryostat-sampleのpodも含まれます。
また、この情報もWebコンソールから確認できます。Installed OperatorsのCryostatからFlight Recorderタブを選択して下さい。
FlightRecorderrを確認
JFRを起動
CryostatはRecordingというリソースとCryostat Web UIのどちらかでJFRを起動できます。
Recordingリソースでは記録したいJFRのイベントを詳細に指定しなければなりませんが、記録の情報はKubernetesのリソースとして管理されます。Cryostat Web UIではRecordingリソース同様にイベントを詳細に指定することもできますが、イベントのテンプレートも指定できます。しかし、こちらの方法ではRecordingリソースは生成されないためKubernetes上で記録を管理できません。
リソースとしての起動
全てのイベントを記録するのは非常に膨大になるので、試しに今回はサンプルアプリケーションに対し通信の入出力の情報を記録を試みます。対象となるJFRはspec.flightRecorder.nameに先程のoc get flightrecordersで出力されたものを指定します。記録するイベントはspec.eventOptionsで指定します。どの様なイベントがあるかはこちら を参照して下さい。
cat <<EOF > recording.yaml
apiVersion : operator.cryostat.io/v1beta1
kind : Recording
metadata :
name : cont-recording
spec :
name : cont-recording
eventOptions :
- "jdk.SocketRead:enabled=true"
- "jdk.SocketWrite:enabled=true"
duration : 0s
archive : true
flightRecorder :
name : jmx-container-sample-8649b7699d-9v2fl
EOF
oc create -f recording.yaml
参照：cryostat-operator/api.md at main · cryostatio/cryostat-operator · GitHub
記録が開始できているかを確認します。
oc get recordings
出力結果は以下のようになります。
NAME AGE
cont-recording 25h
Cryostat Web UIで起動
Cryostat Web UIでJFRを起動する場合には、Cryostat Web UIにログインしてから左側のメニューからRecordingsを選択します。右側にFlightRecorderとして管理されているリソースのリストがあるので、そこからJFRを起動したいJVMを指定します。サンプルJavaアプリをデプロイした場合はjmx-container-sampleから始まるJVMを指定して下さい。そうすると既に動いているJFRが表示されます。
記録の一覧表示
この例では起動時に起動したのでそのJFRが記載されています。
Cryostat Web UIでJFRを起動
JFRを起動するにはCreateボタンを押して、作成画面へ行きます。
JFRを起動
この画面では記録の名前や記録の期間、記録するイベントなどJFR自体の設定が行なえます。最低限はこの3つを設定すれば大丈夫です。Continuousのチェックボックスは継続して記録を取り、ファイルをダンプする時点から逆算して指定した期間分の情報が取れるようになっています。
オススメの設定は、名前は人間が分かりやすい名前が良いです。期間はContinuousを設定しつつ、障害を検知してからどれくらいの時間あればJFRファイルをダウンロードできるかを逆算しておき余裕を持って設定しておきましょう。イベントは通常はContinuousを選択し、具体的なトラブルがあったらProfilingやAlllを設定しましょう。
設定内容の詳細についてはJFRのドキュメント を参照下さい。
Grafanaへアクセスする
Cryostatの便利なポイントの1つは、JFRの内容をGrafanaで見られることです。JFRの内容をGrafanaで見るには、Cryostat Web UIのRecordingタブから見たいRecordingsの右側にあるメニューをクリックしてView in Grafana ...を選択します。そうすると、Grafanaのページへ遷移します。
JFRをGrafanaで開く
Grafanaにアクセスすると認証情報の入力が求められます。この認証情報は、以下のコマンドを実行すると得られます。ユーザ名はadminですが、パスワードは環境によって異なります。
oc get secret cryostat-sample-grafana-basic -o json | jq -crM .data.GF_SECURITY_ADMIN_USER | base64 -d
oc get secret cryostat-sample-grafana-basic -o json | jq -crM .data.GF_SECURITY_ADMIN_PASSWORD | base64 -d
Grafanaへログインが成功すると、通常のGrafanaと同じように操作ができます。JFRのイベントはjfr-datasourceというデータソースに含まれています。好きなようにダッシュボードなどを作成してみて下さい。
ダッシュボードの例
JFRをダウンロード
Grafanaは非常に便利ですが、JFRの情報を詳細に分析するには、現時点では専用のJDK Mission Controlの方が優れています。
Grafanaを使った分析で気になる点が見つけられたら、これまで通りJDK Mission Controlを使ってより詳細に分析しましょう。
Cryostatでは取得していたJFRのファイルをダウンロードできます。Cryostat Web UIのRecordingsでダウンロードしたいRecordingの右側をクリックするとメニューが出るので、Download Recordingをクリックしてダウンロードします。
JFRファイルをダウンロード
ダウンロードしたファイルはJDK Mission Controlで開けますので、JMCを使用して詳細に分析ができるようになります。
JDK Mission Control
最後に
これでコンテナ上において JDK Flight Recorder をより便利に使うためのツールである Cryostat の紹介は終わります。
CryostatとCryostat Operatorの開発はGithub上で行われているので、興味がある場合にはぜひスターを付けて下さい。
github.com
github.com
また、Cryostatの開発者が書いた記事の翻訳もありますので興味のある方はぜひご覧下さい。
rheb.hatenablog.com
