ネットワーク, 勉強会

こんにちは、NTTソフトウェアイノベーションセンタの石田と申します。

初ツチノコです、よろしくおねがいします。

今回は米国の大規模なデータセンタを持つ企業で利用が広まっているホワイトボックススイッチについて紹介します。

ホワイトボックススイッチとは従来のネットワーク機器ベンダにスイッチを卸していたODM*ベンダが製造する、OSを含むソフトウェアがバンドルされていないスイッチのことです。

*ODM: Original Design Manifacturingの略。委託者のブランドで販売するため、製品を設計、製造すること

図2

Google, Amazon, Microsoft, Facebookなど大規模なデータセンタを構築、運用する事業者では、彼らのデータセンタの高効率化のため、サーバを運用していたインフラエンジニアとソフトウェア開発者がネットワークの構築、運用も行うようになっています。

その際、従来のネットワーク機器ではハードウェアとソフトウェアがバンドルされており、ソフトウェアの柔軟性に難があったため、自社で開発したソフトウェアを組み合わせることが可能なODMベンダのスイッチが利用され始め、ホワイトボックススイッチとして注目をあびるようになりました。

既存のネットワーク機器はサーバで例えれば、あるサーバハードウェアを購入するとOSがプリインストールされており、異なるOSはインストールできず、さらにアプリケーションもハードウェア固有で、仮にApache HTTP Server、MySQLがインストールされていて、Nginx、PostgreSQLが使いたい場合は、違うハードウェアを購入しないといけない世界でした。

ホワイトボックススイッチを活用することで、垂直統合型だったネットワーク機器にメスを入れ、ユーザが必要なソフトウェアを取捨選択できるようになります。もちろんハードウェアとの相性により動作保証が難しくなるというデメリットもサーバと同様です。ただ個々のハードウェアに強く依存しないソフトウェアも多くあるので(例えばCLIなど)、これらが自由に組み合わせられることはホワイトボックススイッチの大きな魅力と言えると思います。

図1

ホワイトボックススイッチの登場により、BroadcomのOpenNSLのようなスイッチチップを制御するためのライブラリの公開、OCP SAIのような異なるチップベンダ間に共通するAPIの策定、Facebookによるスイッチの制御デーモンであるFBOSSのOSS化などネットワークインフラをサーバエンジニア、ソフトウェアエンジニアが構築、運用するためのツールが矢継ぎ早に発表されています。

さらにホワイトボックススイッチ用のLinuxディストーションを開発、販売する企業(Cumulus Networks, Big Switch Networks, Pica8)も登場し、ソフトウェアの開発リソースを持っていない企業でもホワイトボックススイッチが利用できる環境が整いつつあります。

このように今後のネットワーク機器市場を変革しうる予感がするホワイトボックススイッチですが、国内での利用はまだあまり耳にしません。

理由は様々考えられますが、一つに情報不足が挙げられると思います。

そこでホワイトボックススイッチに関する情報共有の場として、今回ホワイトボックススイッチユーザ会を立ち上げました!

Facebookグループ : https://www.facebook.com/groups/636728913124820/

またホワイトボックススイッチユーザ会の第一回イベントとして5/13に勉強会を開催します。

ATNDページ : https://atnd.org/events/65122

初回イベントではGREE, NTTソフトウェアイノベーションセンタ, DMM.comラボ, その他数社から情報共有の発表を行います。実際にホワイトボックススイッチを会場に用意し、OSの自動インストール、自動プロビジョニングの実演も行う予定です。すでに定員を上回る参加表明を頂いてますが、席は先着順、立ち見も可ですので、ぜひお越しください!

 

  • ホワイトボックススイッチユーザ会 第一回勉強会についてのご案内

会議名
ホワイトボックススイッチユーザ会 第一回勉強会

開催日時
2015/05/13 (水) 15:00 to 18:00 ( ビアバッシュ 18:30~)

会場
恵比寿ガーデンプレイスタワー21F DMM.com
(東京都渋谷区恵比寿4-20-3)

定員
約70名(60名座席、約10名立見)
※安全上の問題より、参加人数が会場定員を上回った場合、ご入場をお断りする場合がございます。予めご了承下さい。

ビアバッシュについて
懇親会としてビアバッシュ(ビールと軽食)を開催します。参加希望者は、受付時に費用をお支払い下さい。持ち込みも大歓迎!
費用:1000円(税込み)※1000円札でのご用意をお願いします

参加方法
ATNDページ : https://atnd.org/events/65122

ネットワーク, 小ネタ

こんにちは。最近ようやく暖房器具とお別れできたトウマツです。花粉とお花見計画が乱舞する今日このごろ、みなさま体調にはくれぐれもお気をつけ下さいませ。

さて、今回もまたまた新兵器の紹介で、Cerevo社LiveShell.PROを導入してみたのでレビューをします。

LIVESHELL

勉強会やカンファレンスなどのイベントにおいて、発表プログラムをネットで生中継するケースが増えています。これはイベントの開催場所が遠方であったり、予定が合わないなど参加できない人に対する「おもてなし」や、参加経験がない方に対する宣伝が目的のようです。しかし、このネットでの生中継を行うには様々な機材をセットアップしたり、細かい調整が必要なためイベントを支えるスタッフの人は「配信は大変だからやりたくないんだよね・・・」という声も少なくありません。

そこでストリーミング配信をとても簡単に、かつ安定して出来ると評判の高い製品、Cerevo社のLiveShell.PROを導入してみることにしました。

haimen
ポータブルHDDくらいの大きさである筐体には、左から、電源用USBコネクタ、有線LANポート、無線LANUSBアダプタ、おなじみRCAの赤白黄色、そしてHDMIのコネクタが搭載され、一般的な映像や音声入力に用いられる端子を備えています。また、インターネット接続方法としては有線LANか無線LANを選べるので、柔軟な配信が可能です。

それでは早速、配信までの手順を確認したいと思います。

手順1. LiveShell.PROとカメラを接続して電源をON!
配信開始

 

手順2. スマフォから制御用のWebにアクセスして「配信開始」を押す!
IPHONE

これだけです。とっても簡単。始めて使う人でも説明書を見ずに直感的に操作することが出来ると思います。

従来は汎用PCや映像キャプチャのデバイスが必要でしたが、このLiveShell.PROを用いることで、機材や配線にかかる労力が劇的に減りました。この結果として、配線接続や電源ONを含め、配信開始までに必要な時間は実測で1分以下でした。

※「電源ケーブルはどこへいった?」 というツッコミがあるかもしれませんが、LiveShell.PROは充電池を内蔵しており、1~2時間の配信であれば電源ケーブルを接続しなくても良さそうです。このため、万が一の電源断時や電源が取れない場所での生中継に対応できます。

 

さて、こんなに便利な道具はすぐに使いたくなるのが人情というもの。ちょうど、JANOG35.5 Interim Meetingというカンファレンスが2015年4月17日に開催されます。JANOG35.5 Interim Meetingの活気あふれるプログラムを聞きに行くついでに生中継もしようというノリで、DMM.comラボはJANOG35.5 Interim Meetingの活気あふれる発表プログラムのストリーミング配信に協力することになりました。
残念ながら参加できない方は、LiveShell.PROによる中継でJANOG35.5 Interim Meetingの興味深く楽しい発表を聴講していただければ幸いです。

JANOG35.5 Interim Meeting 開催概要はコチラです。

CDN, イベント, インフラ全般, クラウド, ネットワーク

弥生のみぎり、皆様にはいかがお過ごしでしょうか。ホワイトデーも間近だというのに悩みがないのが悩みな初心者ツチノコです。 さて、本日は APRICOT 2015 という国際会議で DMM.com ラボとして発表をしてきましたので、そのお話を書いてみます。

APRICOT とは “Asia Pacific Regional Internet Conference on Operational Technologies” の略で長ーいですが、要するにアジア太平洋地域のインターネットに関する運用と技術について議論する国際カンファレンスです。

今回発表したのは “Traffic in Japan” という JANOG が担当するパネルセッションで、コンテンツプロバイダのトラフィックの傾向をお話して来ました。その他にもインターネットマルチフィードの吉田さんが日本全体のトラフィック、IIJ の松崎さんがトランジット ISP のトラフィック、QTNet の忽那さんが地域 ISP のトラフィック、ソフトバンクの平井さんがモバイルを持っているキャリアのトラフィックという形で発表されていました。近々、JANOG のページ http://www.janog.gr.jp/http://www.janog.gr.jp/meeting/index.html から辿れる形で公開されるとおもいますので、そちらもご覧くださいませ。

DMM.com ラボの資料は先行してこちらにおいておきます。( 版権が絡む様な画像は抜いてあるのでちょっと味気ないかも… )

 

さて、肝心のトラフィック傾向ですが、やはり我々のものは ISP の皆さんとは傾向が違いました。かくいう私も元々トランジットISPの出身で、2月に DMM.com ラボに入社したばっかりの超新人なので調査中から驚くことばかりでした。

特筆すべきはトラフィックの種類。通常トラフィックというと、ISP の人間は外部接続回線のトラフィックの合計みたいなものをまず意識します。DMM.com の場合もちろんそれも存在するのですが、他にもトラフィックソースが存在するわけですね。

弊社では以下の様なトラフィックソースの使い分けをしています。

まずは、自社でサーバ、ネットワーク、データセンタを運用しているオンプレミストラフィック。これが真っ先にコンテンツプロバイダのトラフィックとして想像されるものではないかと思います。DMM.com の場合、こちらには認証情報や各種APIサーバ、あとは動画、画像系のコンテンツが置かれています。とにかく定常的に大量のトラフィックが発生するトラフィックソースです。

次に CDN。こちらは Akamai さんに代表される様な CDN 事業者さんにオフロードしているトラフィックです。弊社では複数の事業者を利用しています。使い方としては、ライブイベント配信の様な事前に予測される一時的なトラフィックのオフロードの他、オンプレミストラフィックのうち急激に使用量が増えた人気コンテンツを移動する場合もあります。これは自動で出来れば大変にかっこいいのですが、今はまだ職人的運用者が「エイッ」って手動で移しています。

最後に、パブリッククラウドプロバイダの利用です。こちらは世界で一番メジャーと思われるあそこ、国内のあそことあそことあそこ、の様にたくさんの業者を使っています。こいつは主にオンラインゲームのトラフィックが乗っています。ゲームの開発元である SAP さんごとに、好みの環境というかクラウドサービスがあるので、ゲームごとに SAP さんに合わせて DMM.com ラボが契約する形です。この場合、お客さんがブラウザからアクセスすると、最初はオンプレミス上にある認証システムやトップ画面にアクセスした後、実際のゲームデータはどこかのパブリッククラウド上にいくわけですね。興味がある人はパケットを眺めてみるとあのゲームがどこにあるなんていうのは分かるかも知れませんね。

各トラフィックの傾向や比率については、前掲の資料をご覧くださいませ。

本当は帯域 だけではなく、同時接続数や単位時間あたりのセッション数でそれぞれのトラフィック傾向を語れるとよかったのですが、今回は時間がなかったり、各トラフィックソース毎に記録している情報の種類や粒度が違ったりで、残念ながら細かい比較ができませんでした。今後は是非、ここらへんも視覚化してみたいですね。

それではまた。

CONBU, wifi, イベント, ネットワーク, 小ネタ, 趣味, 雑談

こんにちは。寒さがぶり返してきて辛いですね。2月よりDMM.comラボにて働き始めたトウマツです。よろしくお願いいたします。拝承。

今回は、ケーブルを床に養生するための治具の紹介、そして使用感をレビューしたいと思います。

DMM.comラボでは、サーバやネットワーク機器の検証を行うために、LANケーブルや電源ケーブルなどを床に這わせることがあります。これらのケーブルを床に這わせる場合、足で引っ掛けてしまう事を防ぐためにケーブルをテープで床に止める(養生する)のが一般的です。
しかし長いケーブルの場合、長さに比例して養生する距離が長くなります。数十メートルの距離を養生するのは、まるで床を雑巾がけしているような感覚で、辛く地道でとても疲れる作業なのです。
そんな苦痛を伴う作業を「やってもいいかな!」と思えるような作業へと昇華させてくれる素晴らしい治具が発売されました。それがGAFFGUNです。

まずは、公式ページの動画を御覧ください。

この動画の通りであるなら、本当にすごい! イケてる! 試したい! そんな風に感動しているうちに、ついつい輸入してしまいました。

ちなみに、今回購入したのはコチラです。
The GaffGun Bundle

 

発送や通関に時間は掛かりましたが、無事到着。ていうかデカい!!

gaffgun1

 

丁寧にスポンジで梱包されており、好印象。本体は金属製です。(たぶんアルミのキャスト)

gaffgun2gaffgun3

 

さまざまなテープの幅に対応できるアタッチメント

gaffgun4

 

公式ページによれば、このGAFFGUNで使えるテープはメーカ純正品、または紙テープや布テープを推奨されています。ですが日本で発売はおろか、国際発送もしてもらえないメーカ純正テープは簡単に入手できませんし、コストも無視できません。また、紙テープや布テープは、接着剤が床やケーブルに残ってしまうので掃除が大変。やはり、慣れ親しんだ養生テープを使いたくなるわけで、ダメ元で使ってみました。

使用した養生テープの幅は50mmのどこでも入手できるものを、そしてGAFFGUNのアタッチメントはサイズSを使いました。

IMG_3860IMG_3861

 

使えるじゃん!

[KGVID width=”640″ height=”480″]http://tsuchinoko.dmmlabs.com/wp-content/uploads/2015/02/GOGOGAFFGUN-S.mov[/KGVID]

 

IMG_3839IMG_3836

つい、色んな所を養生したくなる!

 

というわけで、このケーブル養生治具”GAFFGUN”は日本でどこでも入手可能な養生テープを用いて、腰を痛めたり、床に這いつくばることなく簡単にケーブルを養生できることが確認出来ました。

そうそう、DMM.comラボはカンファレンスネットワークをサクッと構築するチーム”CONBUさんを応援しています。というわけで、CONBUさんに、GAFFGUNをお貸しして、どの程度の威力を発揮できるかを試して貰おうという思います。おそらく、YAPC::Asia Tokyo2015 あたりで大活躍されるのではないかなと、期待しております。

ついでと言ってはなんですが、本日は2015年2月18日、技術評論社のソフトウェアデザイン3月号の発売日となります。3月号の特集記事第一弾に、「カンファレンスネットワークのつくりかた」が掲載されました。実はこの記事の元ネタの一つであるYAPC::AsiaTokyo2014はDMM.comラボも協賛しており、同時にCONBUさんも応援いたしました。この記事にはCONBUさんの無線LANや、ネットワークに対する愛が詰まった内容です。ぜひご一読ください。

 

iDC, コラム, ネットワーク, 運用管理

こんにちは。ゲストブロガーのあきみちです。今回は、大量のサーバ群がどのように管理されているのかに関する導入です。

ペットから家畜へ

10年前と比べると、サーバ管理のトレンドが大きく変わっています。どういった変化が発生しているのかに関して、昔は一台一台のサーバをペットのようにかわいがっていたが、最近は家畜のようにまとめて扱う、というアナロジーが2012年頃から言われるようになっています。

そのアナロジーの元となっているのは、恐らく、2012年4月に行われた「Architectures for open and scalable clouds」という発表です。

一般的な大規模Webサイトのほとんどが、大量のサーバを少人数のスタッフで管理しています。DMMでも、一人あたり数百台のサーバをみつつ、全体では数千台のサーバが運用されています。サーバ台数あたりのエンジニア数を見ると、一台一台のサーバを愛玩動物のように愛でるのではなく、家畜のようにまとめて運用する必要がでてくることがわかります。

L3視点で見るネットワーク構成

「家畜」のようにある程度まとめて管理が行われているサーバ群ですが、それらをどのように管理しているのかを説明する前に、まずはどのようなネットワーク構成になっているのかを紹介します。「○○というサービスだと××を使っていて。。。」といった説明をしようと思ったとき、何がどこにどのように配置されているのかを理解しないと意味不明になってしまうためです。

DMMのサーバ群は、基本的に東京にある3ヶ所のデータセンターで運営されています。

東京1と東京2の構成は、図1のように一般的なWeb3層構成になっています。グローバルIPv4アドレスがついたロードバランサの裏側に、アプリケーションサーバがプライベートIPv4アドレス空間で運用されています。アプリケーションサーバが運用されているプライベートIPv4アドレスのネットワークも必要に応じて別れています。

4-1
図1:東京1と東京2の構成概要

アプリケーションサーバのさらに裏には、データベース用のプライベートIPv4アドレス空間があります。データベース用のネットワーク上では、MySQLのマスターとスレーブ、memcached、Redis、あわせて1000台程度が運用されています(本稿執筆時点)。

memcachedとRadisは、MySQLよりも高速な動作が必要な部分で利用されていますが、memcachedがRead専用の揮発性キャッシュとして利用され、Redisが不揮発性のKVS(Key Value Store)として利用されています。Redisは、主にオンラインゲームのセッション情報を管理するために利用されます。

ロードバランサ

DMMネットワーク全体で利用されているロードバランサは約60台です。ロードバランサはL4だけではなく、L7ロードバランシングも行っており、URLによってアプリケーションサーバを切り替えています。

たとえば、「DVD/CDレンタル」のURLは「http://www.dmm.com/rental/」から開始するようになっていますが、そのURLの場合にはこのアプリケーションサーバが処理を行う、といった動作です。A10 Networksの機器が主に利用されています。

アプリケーションサーバ

アプリケーションサーバはサービス毎に役割がわかれています。DVDレンタルなど、大きく分けると10種類以上のサービスグループに分けて、2000台以上が運用されています。

なお、オンラインゲームは外部のDMMネットワーク内部ではなく、パブリッククラウドで運用される場合もあります。認証部分等のみがDMM内部で行われ、ゲームコンテンツ等は外部のパブリッククラウドなどで運用されるといった形態です。

データセンター間の接続

東京1、東京2、東京3の全体構成は、図2のようになっています。

4-2
図2:東京1、東京2、東京3の全体構成

東京2と東京3は、IPv4グローバルセグメント及びIPv4プライベートセグメントがダークファイバによって同じL2セグメントとして運用されています。東京3はグローバルIPv4アドレスによる外部接続を行っておらず、東京2経由でインターネットとの通信が行われます。

東京1と東京2が別々のアイランド(BGP island)としての運用されています。東京1と東京2は異なるAS番号で運用されており、それぞれBGPルータでインターネットに接続しています。そのうえで、東京1と東京2はBGPピアリングを行っています。

東京1と東京2のグローバルIPv4アドレス空間が個別ASで運用される一方、プライベートIPv4アドレスによるアプリケーションサーバ用セグメントとデータベース用セグメントは、ダークファイバで直接接続されており、それぞれ同じL2セグメントとして運用されています(JuniperのQFabricが使われているのは、この部分です)。

次回予告

今回は、主にオンラインゲームなどを念頭にネットワーク構成を紹介しました。

動画配信部分は、これとは多少異なる構成になっています。次回は動画トラフィックがどのように配信されているのかを紹介する予定です。

この連載の過去記事

PAGE TOP