co-location, iDC, インフラ全般, コラム, ネットワーク

こんにちは、ゲストブロガーのあきみちです。

前回記事で紹介したように、DMM.comにとってのデータセンターは「サーバや通信機器を置く場所を借りるところ」です。セキュリティが確保された場所で、とまらない電気が供給され、適切な温度管理が行われた不動産なのです。

そのように表現すると、「あれ?iDCってインターネットデータセンターだよね?ネットワークは???」と疑問に思われるかたも多いと思います。そうなんです。データセンターに置かれた機器と外部との通信をどのように実現するのかも、データセンターを利用するうえで非常に大事なポイントなのです。

しかし、ネットワークそのものをデータセンターが直接提供しているかというと、必ずしもそうとは限りません。今回は、DMM.comが行っている手法にフォーカスしつつ、データセンター利用者が回線を確保することに関して紹介します。

データセンターでの通信手段確保

データセンターは非常に特殊な不動産事業であり、通信事業者であるとは限りません。そのため、データセンター事業者が直接通信回線を提供するのではなく、データセンター事業者と提携した通信事業者が回線部分を担うこともあります。

さらにいうと、データセンターを利用する顧客によってどのような通信回線が必要となるのかも違います。インターネットに直接接続された回線を必要とする顧客もいれば、広域な社内ネットワークの延長線上にデータセンターのコロケーションを位置づけて運用している顧客もいます。

そういった事情もあり、データセンター事業者が直接通信回線を提供するというよりも、むしろデータセンター事業者に構内配線の依頼をするといった形になりがちです。では、実際にどういう用途なのかの例を紹介していきましょう。

同じデータセンター内に通信事業者が入居している場合

様々な事業者が入居しているデータセンターもあります。

たとえば、データセンター内にIX(Internet eXchange。別記事で解説します)であったり、インターネットプロバイダやインターネットサービスプロバイダ、長距離通信を行うキャリアが入居している場合もあります(長距離通信キャリアがデータセンター事業者という場合もあります)。

IXが入居しているデータセンターを利用している顧客は、IX事業者までの構内配線をデータセンター事業者に依頼することで、他の事業者とのBGPによるピアリングを行える環境を手に入れます。同様に、データセンター事業者に構内配線を依頼することで、インターネットプロバイダなどからインターネット接続サービスを購入することもできます。

データセンターでの構内配線のイメージ
データセンターでの構内配線のイメージ

どのような事業者が、そのデータセンターに入居しているのかが、データセンターそのものの価値を上昇させる要素になるのです。各種事業者との接続が構内配線のみで行えるのは、「便利なデータセンター」なのです。

そして、そういった「便利なデータセンター」に様々な重要設備が集中しがちです。経済原理によって構築された「情報の密集地帯」となっているデータセンターも存在するわけです。

さて、次に、DMM.comの東京データセンター1での事例を見てみましょう。

東京データセンター1にあるコアルータ
東京データセンター1にあるコアルータ

まず、以下の写真がDMM.comの東京データセンター1で運用されているコアルータです。Juniper MX480が2台構成になっています(排気の関係などから1ラックに積まれてしまっているようです。「本当は別ラックに分けた方がいいのだけど。。。」らしいです)。

この写真にあるデータセンターでは、構内配線を経由してピアリングやトランジットを行っています(ピアリングやトランジット、IXなどに関しては別途記事を書く予定です)。同じデータセンター内にエリアを借りている他の事業者と構内配線で接続しているのですが、それが「インターネットとの接続」になるのです。そのため、通信機器を見ても単に普通に光ファイバで繋がっているだけのように見えます。

なお、余談ではありますが、写真を撮影した後に、「あ!養生テープタグのままだった!ツチノコブログにそのまま写真を掲載しちゃうのは多少恥ずかしいかも」と言っていましたが、その後、「格好悪い部分も含めて晒すのが漢」とか意味不明な主張をされていました。

他の場所へのダークファイバ

構内配線で他の組織に繋がることによって外部との通信手段を確保する手法は、データセンターの外との通信を他の事業者に外注することを意味します。

しかし、その方法では、間に他の事業者が提供するルータなどの通信機器が介在することになりがちです。目的によっては、間に他の事業者が提供するルータなどを経由させずに直接自社が運用する機器同士を接続したい場合もあります。

そのような場合には、ダークファイバを借りるという手法が採用されることがあります。ダークファイバは、長距離の光ファイバをそのまま借りれるサービスです。光が通っていない状態で提供されることからそのように呼ばれています。

ダークファイバを使って通信を行える距離は、その光ファイバに接続された通信機器のネットワークインターフェースによって変わってきます。たとえば、10GBASE-LRを使った場合には最大10km、10GBASE-ERを使った場合は最大40kmまでの通信が可能です。10km以内に存在しているデータセンター同士であれば10GBASE-LRで、40km以内に存在しているデータセンター同士であれば10GBASE-ERで、そのまま直接接続できるのです。

DMM.comは、ダークファイバを10GBASE-ERで利用して東京都内のデータセンター同士を接続しています。このダークファイバをJuniperによるファブリック(ファブリックに関しては別途記事を書く予定です)の一部であったり、バーチャルシャーシを構成する回線として使ったりしています。通常の長いシングルモードファイバとしてダークファイバをそのまま利用した形です。

EX 4200のバーチャルシャーシ機能をダークファイバで
EX 4200のバーチャルシャーシ機能をダークファイバで

DMM.comでは、そのような運用を行っていませんが、たとえば、WDM装置を用意して複数波長を一本のダークファイバに乗せるといった用途も考えられます。

その他の方法

データセンター外との通信回線がダークファイバに限定されているわけではありません。

ダークファイバ以外にも、長距離伝送サービス(Optical Transport Networkを用いた数百〜数千kmの長距離伝送など)の購入や、IPパケットの中にIPパケットをカプセル化したうえでそれを暗号化したVPN(Virtual Private Network)の利用といった手法でデータセンター外部との通信回線を確保することが可能です。DMM.comでは、東京のデータセンターから九州のデータセンターまでVPNを利用した接続を行っています。

その他、データセンター事業者がネットワークの提供を行う場合もあります。たとえば、データセンターが持っているIPアドレスブロックが顧客に提供されるといったサービスもあります。データセンター事業者がインターネット接続を提供する上位プロバイダになるというものです。

最後に

ここで紹介しているのは、主にDMM.comが採用している手法です。データセンターと外部の通信手段を確保する方法は、この他にも様々なものがあります。何をしたいかによって回線を確保する方法も変わりますし、新しい技術やサービスが産まれることによっても色々変わってきます。

OSI参照モデルの7層構造を念頭に、電源や配線が「レイヤー0」と呼ばれることもありますが、インターネットはこのような物理的な設備や回線によって構築されているのです。ユーザとして使う場合のインターネットは「繋げば使えるもの」であるように見えがちですが、インターネットそのものを構成している物理的な機器や回線を取り巻く商習慣は意外と生々しいものだったりします。

co-location

東京都が都立の271施設を10月1日から東京電力から中部電力系のダイヤモンドパワーからの供給に切り替えるらしい。

これにより3億円の経費が節約できるとのこと。

このニュースにより、昨年から値上がりしている電気料金の下げ圧力に期待したい。

中電系を使うとデータセンターとしては希少価値+付加価値になるので、

データセンター側の対応としては今のうちにアンテナを広げておいて場合によっては新電力を準備しておいたほうが良いかもしれませんね。

dmmとしてもデータセンターを新規でとなると中電系からの供給であるという優先順位は高くなると思います。

外資系も東電以外を指定してきそうですし、このムーブメントは面白いかもしれません。

月曜日の中部電力の株価が気になりますね。

 

co-location

世界陸上2013モスクワ大会マラソン 福士さん銅メダルおめでとうございます。そしてありがとうございました。おちゃめなところが大好きですよ。

さて、前回、LANケーブルの記事では過去のお恥ずかしいスパゲッティ配線の写真をお見せしました。

現在もあのような配線にはなっていると思われてるかもしれないので、現在の写真を公開します。

dmmではラックの中段にスイッチを配置してその上下段にサーバを配置しています。

この写真は中段のスイッチから上段のサーバが写っているものになります。

言わなくてもわかると思いますが、左が現在、右が5年以上前です。

cur_rackスパゲッティ4

 

ケーブルは2色で電源ケーブルは短く

白はラック内の配線

緑は隣接ラックの機器との接続です。

※ちなみに緑のLANケーブルは原則2つ隣のラックまでの接続とし、それより離れたラックにある機器への接続は必ずパッチを利用することにしています。これは配線の視認性を確保するためのdmmのローカルルールです。

かなりすっきしした構成になっているのがわかると思います。

サーバの外観のチェックもモニタの接続もケーブルの確認もこれだけすっきりしていれば簡単になります。

さらにケーブル類を無理やり引っ張って確認する必要もなく、ケーブル抜栓によるオペミスも減ったところも良かった点です。

ちなみにこのラッキング、ケーブリングにもノウハウが詰まっています。これについては別の機会にお話しさせていただければと思います。

最後に管理情報に間違いがあってはならないとする運用が本当に必要なのかどうか。

間違いがあったときはミスを取り戻すのに最初からの調査と運用の見直しが検討される。

正直、このやり方だと時間がいくらあっても足りないのが現状です。

本来の仕事がままならなくなっちゃいます。

優先順位の低い仕事に優秀なエンジニアがつきっきりになるくらいなら管理しない方法を模索したほうがいいのではないかという我々の結論です。

みなさんも、

そもそも、その管理は自社の運用にとって本当に必要なのかどうか自問自答してみてください。

別の世界が見えてくるかもしれません。

co-location

とある、丸の内にあるビルの一角地下深くにそのデータセンターはありました。

もともと、回線事業者向けの仕様で作られたようなのですが、スペースに余裕があった場所をサービス事業者向けに解放したところを我々が借りる事になりました。

当時としては、ラック当たり60Aが利用ができるという事は珍しく、価格の安さもあって、即決したのを覚えています。

これはコンテンツ系のサーバにピッタリだとここぞとばかりにギリギリまで搭載。サーバルームは一気に真夏日、一部猛暑日を観測した場所もあったほどです。

まあ、猛暑日が毎日続くのですから、人間どころかサーバも熱中症です。

かといって、契約期間を残しサーバの台数を減らせば他所を使った方がよくなってしまうので、なんともし難い。

そこで考えたのが、サーキュレーター

ボルネードを三台くらい設置して空気の流れを作ろうと。

ところが、これでも全く効果がない。

そこで家庭用のおおがたの扇風機を秋葉原で買ってきて設置。これも改善せず。

結局、工業用の扇風機を二台導入し、強制的にすべての地域で真夏日になるように調整。

これで、二年ほど運用したのですが、流石にハードディスクの故障率は半端なかった。

いつもピーピーなってた記憶があります。

さあ、この教訓からdmmでは、

契約する電流での温度を保障(SLA)し、問題があっても積極的に対応を確約いただける会社様を選択させて頂いております。

今では、データセンターもかなり進化してきてはいますが、今も昔も、問題あった時に積極的な対応ができるかどうかだと思います。

co-location

dmmでのLANケーブルの取扱いについてお話したいと思います。

昔はサブネットごとに色を準備し考えられるすべての色を使っていた時期がありました。

また、タグもすべてのLANケーブルの両端に紐で括り付けペンでどこに接続しているのか書き込んでいました。

サーバが増えるにしたがって利用するネットワークセグメントも増え管理や運用の負担も増えていきました。LANケーブルを使いまわす際のタグの表記変更にも大きな負担となっていきました。

5年に及ぶこのような運用から、

そもそもケーブルの色なんて同じでいいんじゃないか。

そもそもLANケーブルにタグはいらないんじゃないか。

という結論に至りまして

現在は

LANケーブルは2色、タグは使用せずLANケーブルの両端に3ケタの数字を印刷したものを利用となっています。

※3ケタの数字はかぶることがあるのですが同じラック内で同じ数字を使うケースはほとんどないので接続の確認を行う際には支障はほとんどありません。

LANケーブルはラック内のスイッチやサーバ間の接続で1色、隣接するラック間の機器接続で1色で合計2色で運用することとし一目でラック内の接続なのかラック外への接続なのか把握できるようにだけしました。

タグはどこのサーバがどこのスイッチのどのポートに接続しているのかを表記していましたが、

使いまわしていくうちにタグの信頼性が揺らんでいき、接続確認をするときにそのタグは信用せず、結局たぐって調べることになっていきました。

今回の変更で色を見ればラック内かラック外接続かがわかるようになっているので、あとはケーブルの両端の数字だけを確認するだけでどこにつながっているのかわかるようになりました。

これで我々が必要最低限の情報を必要最低限の作業だけで手に入るようになり運用が各段と楽になりました。

dmmではこれがいまのところの最適解です。たどり着いた先はシンプルでした。

みなさんの会社ではいかがでしょうか?ご意見いただけると助かります。

 

そういえば、dmmでは電源ケーブル同様LANケーブルも特注しています。

細いケーブルを使っています。1Gインターフェースはcat5e、10Gインターフェースはcat6aを利用

お値段ははりますがcat6aでも細いケーブルで発注しています。

また、ケーブルの両端に3ケタの数字を印刷してもらっています。

SAMSUNG

長さは5種類くらい用意しており、20mなどの長いケーブルや10cmなどの短いケーブルなどの標準以外のケーブル長は自身で作成しています。

みんな上手に作っていますよ。

ちなみにケーブルといえばメタルのほかにもファイバーがあります。

ファイバーを運用する際に利用するクリーナー

光コネクタクリーナーと光ケーブルクリーナーの2種類があるのをご存知でしょうか?

光コネクタクリーナーはトランシーバー用のクリーナー

光ケーブルクリーナーはファイバーの先端の清掃を行うものです。

dmmではその両方を使っていますがOTDR(光パルス試験器)を利用し伝送損失を確認したことがあるのですが、わからなかったです。おまじないですかね。

お恥ずかしい限りですが5年以上前の写真を載せておきますね。

スパゲッティ4

PAGE TOP