NewtMQ を作りました

 インフラ統括本部の大山裕泰です。以前に STOMP と rabbitmq-stomp について紹介しました。
 STOMP は AMQP などに比べて非常にシンプルなプロトコルのため、高速なメッセージ転送が行えると期待していまいたが、とてもイマイチな結果でした。
 「これはきっと実装の問題に違いない!」と推測し、ちょうど STOMP 1.2 対応の C 実装サーバも知られていなかったので、STOMP プトロコルによる高速なメッセージ転送を行う MQ サーバ NewtMQ (にゅーとえむきゅー) を C で実装してみました。

 - https://github.com/newtmq/newtmq-server

 こちら の簡易ベンチマークツールを使って、大量のメッセージを送受信するのに要する時間を計測しました。
 

 
 こちらの図は、それぞれのサーバで 64 ~ 32K のサイズのメッセージを 10 万回送受信する処理が完了するまでにかかった時間を比較しています。
 また、全てのブロックサイズにおける転送時間の平均において、送信処理と受信処理の内訳を表した図が以下になります。青が送信処理時間、緑が受信処理時間を表しています。
 

 
 NewtMQ が 4 割弱ほど RabbitMQ (AMQP) より早い結果になりました。
 Kafka の結果が悪いのは、Publisher から送られたメッセージをストレージに格納するために他の結果と比べて処理に時間がかかっているものと考えられます。
 なお、Kafka のベンチマークでは Publisher の ‘acks’ パラメータ の値を 0 に設定しています。’acks’ パラメータによって Publisher が送信したメッセージに対する応答メッセージ (Ack) を待ち受けるかどうかを設定します。Kafka Protocol 0.8.x までは、デフォルトで Ack を無視していましたが、0.9.0 からはデフォルトで Ack を待ち受けるようになりました。STOMP では、同様の確認応答を無視しており公平を期するために、ここでは ‘acks’ パラメータを明示的に 0 に設定しています。

 ここでは STOMP も Kafka も送信処理は確認応答を受け取らない設定をしている(リクエスト投げっぱなし)なので、むしろ重要なのは受信処理時間です。以下に、各ブロックサイズでの受信処理時間の結果を示します。

 メッセージサイズが小さいケースにおいて、Kafka が圧倒的に早いです。しかしメッセージサイズに比例して処理時間が大きくなります。恐らく Kafka のログ (メッセージを保持する箱) がファイルシステムのページキャッシュに乗っているケースでは高速になり、メッセージサイズが大きくなるにつれてページキャッシュに乗り切らなくなり、処理時間が増えているものと思われます。

 尚、検証した環境は以下のとおりです。
 
サーバスペック

CPU : Intel Core i7-6700 CPU @ 3.40GHz
RAM : 32GB
HDD : Intel SSD (512GB)
OS : Ubuntu14.04
rabbitmq-server : 3.6.1-1
rabbitmq-stomp : 3.6.1
Kafka : 2.11-0.9.0.1

クライアントスペック

CPU : Intel Core i5 @ 2.7 GHz
RAM : 16GB
Ruby : 2.2.2p95
stomp (RubyGem) : 1.3.5
bunny (RubyGem) : 2.3.1
ruby-kafka (RubyGem) : 0.3.6

 ただここで得た結果は、それぞれのソフトウェアの特徴のごく一部を切り出して比較したにすぎません。これによって NewtMQ が RabbitMQ や Kafka より良いということは決して言えません。
 ここで示した一部の性能は NewtMQ よりも Kafka の方が上回っていますし、RabbitMQ や Kafka が積み上げてきた実績には NewtMQ は遠く及びません。また機能面でも大きな差があります。

 Kafka ではクラスタによるハイアベイラブルでスケーラブルな環境 を組むことができ、またメッセージをストレージに格納させることで大容量のデータをキューに滞在させ、それらを高速に処理させることができます。
 また RabbitMQ は柔軟なメッセージルーティングを実現する機能性に加え、AMQP の実装としての高い実績を有しており、また rabbitmq-stomp も topic 転送や AMQP キューとの連携などといった多数のオリジナル拡張機能を有した高い機能性を持っています。
 更に、分散システムの中核を成す MOM においては高い信頼性と拡張性が要求されます。RabbitMQ ではメッセージの永続化、及び Lazy Queueクラスタリング 機能によってこうした要求に応えています。
 他にも 遠隔ノードへのメッセージ転送動的なメッセージルーティング など、メッセージ転送に関する様々な機能を提供してくれています。
 
 しかし実際に利用しているユーザ側としては「あるサービスから別のサービスにメッセージが正しく、早く、安定して転送できればそれで良い(他には特にいらん)」と考えるユーザが大部分なんじゃないかということを個人的な実感として思うようになりました。
 こうしたサプライヤー側の過剰とも言えなくもない機能やサービスは MOM の分野に限ったことではなく SDN やクラウドなどの分野においても個人的な実感として感じます。
 もちろん、ユーザ側の要件が複雑化していった際にはこうした恩恵にあずかるわけですが MOM の分野においては、ネットワークやストレージ、データベースなどと比べれば、いざダメだとなった時の乗り替えは比較的容易かと思います。

STOMP は柔軟性や機能性に欠けるプロトコルですが、広帯域・高信頼なネットワークに閉じた環境において、高速なメッセージの受け渡しを実現することができると踏んでおり、これを実現するために NewtMQ を作りました。今回の結果にって、こうした可能性が見えてきたんじゃないかと思っています。
(とはいえ、まだ全然使えるシロモノには仕上がっていませんので、メジャーバージョンが出るくらいまでは、どうか暖い目で見ていてくださいmm)


PAGE TOP