ネットワーク, 勉強会

こんにちは、NTTソフトウェアイノベーションセンタの石田と申します。

初ツチノコです、よろしくおねがいします。

今回は米国の大規模なデータセンタを持つ企業で利用が広まっているホワイトボックススイッチについて紹介します。

ホワイトボックススイッチとは従来のネットワーク機器ベンダにスイッチを卸していたODM*ベンダが製造する、OSを含むソフトウェアがバンドルされていないスイッチのことです。

*ODM: Original Design Manifacturingの略。委託者のブランドで販売するため、製品を設計、製造すること

図2

Google, Amazon, Microsoft, Facebookなど大規模なデータセンタを構築、運用する事業者では、彼らのデータセンタの高効率化のため、サーバを運用していたインフラエンジニアとソフトウェア開発者がネットワークの構築、運用も行うようになっています。

その際、従来のネットワーク機器ではハードウェアとソフトウェアがバンドルされており、ソフトウェアの柔軟性に難があったため、自社で開発したソフトウェアを組み合わせることが可能なODMベンダのスイッチが利用され始め、ホワイトボックススイッチとして注目をあびるようになりました。

既存のネットワーク機器はサーバで例えれば、あるサーバハードウェアを購入するとOSがプリインストールされており、異なるOSはインストールできず、さらにアプリケーションもハードウェア固有で、仮にApache HTTP Server、MySQLがインストールされていて、Nginx、PostgreSQLが使いたい場合は、違うハードウェアを購入しないといけない世界でした。

ホワイトボックススイッチを活用することで、垂直統合型だったネットワーク機器にメスを入れ、ユーザが必要なソフトウェアを取捨選択できるようになります。もちろんハードウェアとの相性により動作保証が難しくなるというデメリットもサーバと同様です。ただ個々のハードウェアに強く依存しないソフトウェアも多くあるので(例えばCLIなど)、これらが自由に組み合わせられることはホワイトボックススイッチの大きな魅力と言えると思います。

図1

ホワイトボックススイッチの登場により、BroadcomのOpenNSLのようなスイッチチップを制御するためのライブラリの公開、OCP SAIのような異なるチップベンダ間に共通するAPIの策定、Facebookによるスイッチの制御デーモンであるFBOSSのOSS化などネットワークインフラをサーバエンジニア、ソフトウェアエンジニアが構築、運用するためのツールが矢継ぎ早に発表されています。

さらにホワイトボックススイッチ用のLinuxディストーションを開発、販売する企業(Cumulus Networks, Big Switch Networks, Pica8)も登場し、ソフトウェアの開発リソースを持っていない企業でもホワイトボックススイッチが利用できる環境が整いつつあります。

このように今後のネットワーク機器市場を変革しうる予感がするホワイトボックススイッチですが、国内での利用はまだあまり耳にしません。

理由は様々考えられますが、一つに情報不足が挙げられると思います。

そこでホワイトボックススイッチに関する情報共有の場として、今回ホワイトボックススイッチユーザ会を立ち上げました!

Facebookグループ : https://www.facebook.com/groups/636728913124820/

またホワイトボックススイッチユーザ会の第一回イベントとして5/13に勉強会を開催します。

ATNDページ : https://atnd.org/events/65122

初回イベントではGREE, NTTソフトウェアイノベーションセンタ, DMM.comラボ, その他数社から情報共有の発表を行います。実際にホワイトボックススイッチを会場に用意し、OSの自動インストール、自動プロビジョニングの実演も行う予定です。すでに定員を上回る参加表明を頂いてますが、席は先着順、立ち見も可ですので、ぜひお越しください!

 

  • ホワイトボックススイッチユーザ会 第一回勉強会についてのご案内

会議名
ホワイトボックススイッチユーザ会 第一回勉強会

開催日時
2015/05/13 (水) 15:00 to 18:00 ( ビアバッシュ 18:30~)

会場
恵比寿ガーデンプレイスタワー21F DMM.com
(東京都渋谷区恵比寿4-20-3)

定員
約70名(60名座席、約10名立見)
※安全上の問題より、参加人数が会場定員を上回った場合、ご入場をお断りする場合がございます。予めご了承下さい。

ビアバッシュについて
懇親会としてビアバッシュ(ビールと軽食)を開催します。参加希望者は、受付時に費用をお支払い下さい。持ち込みも大歓迎!
費用:1000円(税込み)※1000円札でのご用意をお願いします

参加方法
ATNDページ : https://atnd.org/events/65122

SSD, コラム, 勉強会

おはようございます。ライトノベル好きの新人ツチノコです。オー・ドロボー!は読みましたか?

さて、本題ですが火曜日に開催している部内勉強会でSSD関連の話をしました。
そのうち、SSDの最近のtopicを話した部分をご紹介します。

SSDとは

SSD(Solid State Drive)は、Flashを用いてHDDの代わりに情報を記憶する装置として知られています。
コンピュータっぽい用語を使うと「半導体素子を用いた二次記憶装置」ということになります。

一昔前は大変高価なデバイスで利用方法も限定されていましたが、今ではノートPCからエンタープライズ向けのサーバまで幅広く利用されるようになりました。

HDDと比べると、SSDの利点と欠点は以下のようなものがあります:

  • 利点
    • ランダムアクセス性能がよいこと
    • 物理的な稼働箇所がないので、静音・壊れない
  • 欠点
    • 容量単価が高価
    • Writeしていくと性能が劣化

SSD最近のtopic

SSDはここ数年で大変進歩しており、現在でも次々と新製品・新仕様が出てきています。

  • PCIe-SSD
  • NVM Express
  • M.2(NGFF)
  • SATA Express
  • mSATA
  • などなど

このうちいくつかをピックアップします。

PCIe-SSD

厳密に定義された用語ではありませんが、PCI Express(以下PCIeと表記)で接続されたSSDの総称として、PCIe-SSDという表記を使うことにしてます(少なくとも関係者間で意味が通るので・・・)。

2007年Fusion-io社が最初の製品であるioDriveを発表しました(ご参考: 当時のPress Release(pdf/web archive))。
ioDriveはPCIe Card1枚で100k IOpsという性能でした(ご参考: HDDだと数100IOps, SAS SSDだと数10kIOps)。当時の従来製品であったSAS/SATA SSDと比較して高速でしたし、FC接続されたRAID装置に匹敵する性能を安価に実現できたことから一時代を築くこととなりました。

Fusion-io社のioDriveの成功以降、Virident社・Huawai社など各社がPCIe-SSD製品を出荷しています。
すでにDMM.comのインフラにも大量に投入されており、このブログでも性能評価結果を記事にしています。

NVM Express

NVM Express(以下NVMeと表記)の前に、まずVolatile MemoryとNon-Volatile Memoryの説明をしたいと思います:

  • Volatile Memory:
    電源を切ると内容が消える記憶装置のこと。いわゆるメモリなど。
  • Non-Volatile Memory:
    電源を切っても内容が消えない記憶装置のこと。いわゆるSSDなど。

さて前述のPCIe-SSDは標準化された仕様は無く、ベンダ各社が思い思いに仕様を決定していました。結果としてドライバがOSに標準で搭載されていなかったり、ツール類がベンダ独自のものだったりといった辛い状況を生みました。

そこで、2011年にPCIe-SSDを共通ドライバで扱うためにデバイス側も共通化しようという趣旨のNVMe仕様が策定されました(ご参考: NVMeの歴史)。

NVMe仕様とは「OS/ソフトウェアがNon-Volatile Memoryを扱うための、レジスタレベルのインターフェースの仕様」です。具体的にはレジスタマップ・Read/Write Commandのフォーマット・Commandを投入するためのQueueの構造などを定義しています。

逆にNVMe仕様では、デバイスの形状(Form Factor)やコネクタの形状は定義していません。ですので、NVMeに対応しているデバイスには、後述の製品のように、PCIe Cardの製品、2.5″ Small Form Factor(SFF)の製品、M.2形状の製品があったりします。
また、実はNVMe仕様はPCIe接続されたSSDに最適化されているものの、記憶素子も規定していなかったりもします。今はNANDの製品がほとんどですが、将来的には別の素子が利用されるかもしれません。

NVMe仕様に準拠したデバイスとしては以下のような製品があります:

Intel SSD 750など、2.5″ SFFの製品は従来のSATA/SAS SSDと同じ形状に見えますが、接続はPCIeになっています。

M.2(NGFF)

M.2仕様(以前はNGFF(Next Generation Form Factor)と呼ばれていました)は小型のデバイス用の形状・コネクタの仕様です。プロトコルとしてはPCIe/SATA/USBに対応しており、NVMe対応のSSDも実現可能です。

ノートPCやIntel NUCで採用されている他、サーバでの採用例も出てきました(ご参考: HP Moonshot, Microsoft OpenCloudServer)。

前述のようにM.2はPCIe/SATA両対応ですので、購入の際にはマザーボードとSSD両方がPCIeなのかSATAなのか確認しましょう。つながらないと大変かなしいことになります。

おわりに

それぞれのtopicについてもっと詳細に語りたい気持ちはやまやまですが、まずはざっくりSSD関連のtopicを紹介させていただきました。

各社のPCIe-SSDは今NVMe対応製品がちょうど出荷され始めたころです。今後はNVMeにシフトしていくはずですので、DMM.comのインフラに投入されているPCIe-SSDも順次NVMeに置き換わっていくはずです。

他にもSSDは新製品・新仕様が出てくると思いますので、引き続き関連動向に着目していこうと思います。

 

p.s. 最近おすすめのライトノベルはご注文はうさぎですか?のKoi先生が挿絵を描いている魔法少女禁止法です

イベント, インフラ全般, 勉強会, 運用管理

こんにちわ。ibuchoことテコラス株式会社の伊勢と申します。先日元同僚のtagomorisが書いたツチノコブログエントリをFB上で弄ったら、自分がゲストエントリを書く羽目になってしまいました。

過去のエントリを見ると比較的エンジニア向けの内容が多いのですが、私は現場を離れてはや十数年。どちらかというと老害の部類に入る人種でして講演で話したり雑誌などに寄稿する内容も技術論というより精神論に始終しています。そこで今回はエンジニアにとって業務上参考になるようなノウハウやTIPSではなく、去る3月13日-15日に行われた情報系を学ぶ全国の学生を対象としたインフラ技術を競うICTトラブルシューティングコンテストについて話してみたいと思います。

私はICT教育推進協議会(以後ICTEPC)のネットワーク教育ワーキンググループの主査をしているのですが、この協議会内で学生が主体になって実施するトラブルシューティングのコンテスト実施に関する企画が立ち上がり,すぐさま開催検討が開始され,昨年2014年3月にまずはこういったコンテストに慣れている大阪情報コンピュータ専門学校にて第1回ICTトラブルシューティングコンテスト(以後ICTSC)が実施されました。

ICTSC1

ICTSCはコンテストの問題作成と企画運営を学生が担い、学校関係者、社会人はサポーターに徹するという立ち位置で進めています。しかし、第1回はICTEPCにとって初めての開催ということもあり、運営の学生は帝塚山大から2名、大阪情報コンピュータ校から2名というたった4名の運営チームで進行したため、帝塚山大の日置先生、大阪情報コンピュータ校の山口先生にかなり労を取って頂きました。また開催にあたり以下のような工夫を施しました。

・趣旨に賛同する企業に協賛をお願いする。

・関西方面だけではなく全国の学校学生を対象とする。

・出題範囲はネットワークだけではなくサーバミドルウェア、アプリケーションも含む。

しかし一応全国の学校学生を対象とはしていましたが、知名度が低いせいか第1回の参加チームは九州から1組、中国地区から1組、四国から2組、関西から5組とNSCへの出場経験のある関西方面の学校が多く、関東からの出場校は東京の日本電子専門学校のみでした。

そこで、関東以東の学生も参加しやすいように2014年8月に第2回大会を都内に校舎のある日本電子専門学校に会場をお借りして開催しました。この時、運営学生15名、参加チームは10組あり、関東から5チーム、関西から3チーム、四国から1チーム、そして東北から1チームが参加し出場校の幅が広がっていきます。ICTSC2

そして2014年9月に第3回ICTSCプロジェクトがスタートします。過去2回大会の経験を踏まえ、第3回は色々と改善を図りました。

まず、第2回大会の学生運営委員15名は関西と関東の学生で構成されていましたが、通常の打ち合わせをLINEやSkype等で行い、月に一度の頻度で関西の学生が上京し運営委員会を行いました。当然関西から上京する学生の交通費と宿泊費がかかります。知名度が低いため協賛企業も少なく、賞金や必要経費、コンテスト当日の運営学生用旅費交通費に加え、事前打ち合わせのための旅費交通費を捻出する事は非常に困難なのです。

そこで第3回の定例運営委員会はシスコシステムズ社の東京オフィスと大阪オフィスにそれぞれの運営学生が分かれて集合し、テレプレゼンスシステムにてテレビ会議を行う事にしました。このテレプレゼンスはマルチスクリーンであり、また話者の声に反応してカメラが切り替わるため、まるで同じ会議室の円卓で打ち合わせているかのように感じられ離れていても違和感がありません。

テレプレ

ただし、月一回の運営委員会だけでは不十分であり、運営学生達は随時Skypeによる打ち合わせを何度もやっていたようでした。また、日々のコミュニケーションはSlackでやりとりし、進捗管理にはRedmineを使用しました。

Redmineは運営委員の進捗だけではなく、結果的にコンテスト本番の出題と回答のツールにも利用されています。作業指示やトラブル発生等のチケットを運営が参加チームへ発行し、そのチケットを参加選手がクローズしていくという実際にインフラの現場で起きている実践さながらの状況を再現しています。

Redmine

また第1回、第2回ともコンテストの前々日に機材搬入し、前日にセットアップ、コンテスト終了後に機材搬出という非常にタイトなスケジュールでした。そのため、機材に不具合は無いか、コンフィグレーションに間違いは無いか、運営が想定している問題と回答が実際に不整合無く成立するかどうか、問題の正解不正解によって次の問題に影響は無いかなどの検証が十分にできず、運営学生やサポータである先生方が深夜まで、場合によっては徹夜で検証する羽目になっていました。それでもコンテスト当日には機材の不具合や問題の不整合が発生し、運営側のリアルトラブルシューティングによって時間が割かれ、予定された問題を全て出題する事ができなくなった事もあります。

そこで、第3回は帝塚山大学に一週間前からコンテスト会場を提供していただき、十分な事前検証を行う事でコンテスト前日、当日の運営負担を軽減すると共にコンテスト中のトラブルを最小限にすることができました。そして予定していた問題を全て出題する事ができ、コンテスト自体も大成功という形で幕を閉じました。今回出題した問題の中で回答率が非常に低かった問題は次回に持ち越しする予定なので、残念ながら問題と回答は非公開とさせていただいています。

HS1HS2HS6HS5

最後に一番大きな変更はコンテストに参加する際の制限を廃止した事です。

コンテストの問題はシスコシステムズのルータやスイッチなどの実機を操作する事を前提としていたので、第1回、第2回はCNAの開催校に限定して参加募集をしました。また、ICTEPCが主催していたため、主にICTEPCの一般会員学校からしか運営者も参加者を募集しませんでした。今回はICTSC実行委員会をICTEPCとは別に組織し、ICTEPCの会員であるなしを問わず、CNAの開催校如何にかかわらず全国の学校と学生を対象としました。

また、第1回、第2回は出題範囲をネットワークからサーバミドルウェアとしてはいましたが、結局ネットワークとサーバ問題の比率は5対1ぐらいに偏っていて、サーバ担当の学生から「ping打つ程度しかやることがない」などの感想を頂いていました。そこで、今回は運営学生もネットワーク専攻と情報科学専攻、アプリケーション専攻者をバランスよく勧誘し、ネットワーク以下とサーバ以上の問題バランスを5対5ぐらいに調整してみました。第1回、第2回に参加経験のあるチームは問題の難易度に戸惑ったようではありますが、逆にCNAを開校していない学校の学生でもサーバ以上のコンポーネントに造詣のあるチームにとってはフェアに戦える問題構成となっています。

今回はクリエーションライン株式会社、シスコシステムズ合同会社、テコラス株式会社、さくらインターネット株式会社の4社からご協賛を頂きました。アンケートによると協賛各社のご講演が非常にためになったとか、懇親会で企業の方々と会話できてよかったという意見がありました。

コンテスト後に参加選手からいただいたアンケートでのコメントを紹介します。

● 自分の程度が計れる素晴らしい機会。今後も参加者として出たい気持ちがある反面、運営側で技術を学びたい、経験を積みたい気持ちもある。

● 問題文が分かりにくい。そういった趣旨なのかもしれないが、何を探せばいいのかすら分からない問題だと難しい。

● 本当におつかれさまでした。高難度の問題に出題者の本気が見えており身が震える。

● このコンテストを学生主体で開催しているのは、純粋に凄いと思う。運営者の人たちくらいに知識をつけたいと思った。

● どの問題も質の高い問題で勉強になりました。

● 懇親会で多くの方と話をすることができたので、良い刺激を受けました。

● 参加者の少なさには少しがっかりしました。

● redmineで報告する方法が斬新であると感じた。

● 所々グダグダだったり、必要情報が足りなかったりしたので、もうちょっと予行すべきだったのでは?と思う。

● 事前に出題範囲を教えてくれていたことは非常に有り難いと感じた。名前は知ってるけど詳しくは知らないというものも多かったので、予習に実践と続き、非常に効果的に学習することができたと感じる。

● 問題の難易度が高くてなかなか解けず。もっと勉強しないといけないと思える良いコンテストでした。

● 難しく、苦しかったですが、思っていたよりも早く時間が過ぎていて充実していたのだと感じました。

● 今回の問題は自分のレベルではなかなか解けるものでは無かったです。運営をやるためにはもっと知識を付けていく必要があるととても感じたので追い付くためにも勉強をし続けていきたいです。

● 次回も出来たら参加したいです!

どうやら、ちょっと問題が難しかったようですね・・・ それでもその難しい問題を楽しんでもらえたようでよかったです。

また運営に携わった学生達からは以下のような感想を頂きました。

● サーバ構築や監視を中心に、学生生活で得たものを全力で投入したつもりでしたが、振り返ると改善したい点がたくさんあります。次のコンテストは全力でサポートする側に回りたいと思います。

● 今回運営に参加して、学生運営委員のレベルの高さに圧倒されました。より高みを目指すために何が必要か、具体的にどう行動すれば良いかを考えることができる人を見て、それをやろうとしても出来ない自分に気づくと同時に憧れも抱きました。

● 今回は主にサーバ周りを担当しましたが、ネットワークなど自分があまり触ったことない部分を勉強したいと思う良いきっかけとなりました。コンテストに関わったみなさまに大変感謝しています。

● 今回初めて運営に参加して、主に電源や配線などのL1を担当させていただきました。運営を通して周囲との知識や経験の差や、如何に自分の認識している範囲が狭かったかを認識し、これからさらに努力を重ねて行かなければならないと考えさせられ、とても大きな経験を得ることができました。

● 私は今回リーダーという仕事を通して改めて自分にとって足りない部分などを見つめ直すことができました。自分を見つめ直す機会に出会えたことに感謝しています。そして成功まで導いてくれたメンバーのみんなに大変感謝しています。

● 学生スタッフの仕事は発見の連続でした。運営の苦労,チームでトラブルを解決することの魅力,そして4月から働く仕事に対する新たな楽しみ。そしてみんなと作業したことで、刺激を受け、学びに対する向上心が増しました。今後も付き合いが続くであろう、素晴らしい仲間に出逢えたことに感謝。もっと色々な方にコンテストについて知って頂くために、技術力は勿論、その他の部分でも尽力します。

● 今回は主にネットワーク設計を担当させてもらいました。入院中、後輩が悩み抜いて設計した基礎に、4年間で学んだノウハウを全て注ぎ込んだ魂のこもったネットワークです。今後も当大会の発展を願うと共に、全力でサポートしたいと思います!

● 何もわからないまま先輩達に連れられ運営初参加!気づけばラスボスを担当していました。

● 名前しか知らない技術を準備期間中に勉強し始めて問題にしたので、ものすごく難しかったですが、その分ものすごく勉強になりました。

● 前回に引き続き運営をさせていただきました。自分に出来る事を探した結果序盤に大阪で作業出来なかったのは痛いところです。その分終盤に力を発揮できていたと思います。皆さんの知識量に触れ、自分に出来る仕事を増やすため更に勉強しようと奮起する要因になりました。

● 今回のトラコンは本当にレベルが高く、自分の知識の少なさや視野の狭さなどを痛感しました。また、改めて自分はネットワークが好きだと再認識し、もっと努力しなくてはと思いました。長いようであっという間でしたが、今回のコンテストに関われたこと、本当に感謝しています。

● 今回のトラコンを通してまだまだ自分の知らないことがいっぱいあることに気づかされました。また、今まで気にしていなかったタイムキーパーの大切さを知りました。僕が携わるのは今回で終わりだと思いますが、後輩に引き継いで次回はもっと良い大会にしてもらいたいです。

● 参加するのは、今回が初めてでした。実力、知識不足であまり力にはなれませんでしたが、自分のできることで頑張りました。トラコンを通して、学生の対抗、生き生きしている姿を見て、彼らのように頑張れるようにもっと学んでいきたいと思いました。

● 今回、初めて参加させていただいていろいろと勉強になりました。大学に入学してから何かしないといけないという考えが自分の中にあり、今回のトラコン運営に誘われ参加させていただきました。参加が初めてでわからないことも多々あり自分の実力と知識があまりにも不足していてもっと勉強が必要だなと思いました。

● 今回、初参加です。ほとんど力になれませんでしたが、皆さんに助けられました。皆さんの生き生きたとした姿が見れたので良かったです。

● 第1回大会は参加者として第2回、そして今回と運営として携わらせていただきました。回を重ねるごとに規模も大きくなっており、自分が触ったことのない新しい技術の導入もあるため貴重な経験を得ることができました。

運営の学生も刺激を受けてさらに精進しようという気持ちになったようでうれしく思います。昨年9月のキックオフからずっと彼らを見てきましたが、皆、誰も彼もが積極的で向上心があり、責任感と実践力のある学生諸君ばかりでした。自分が学生だった時、これほどまでに積極的かつ責任感を持ってミッションを実行できたかどうか疑問です。いや、今でさえ彼らと同じような姿勢で仕事や様々な活動に対峙し対処しているだろうかと反省することしきりです。

今回、社会人で構成される実行委員は学生の運営をサポートする立場ではありますが、様々な事に気付かされ、学ばせてもらったのはこちらの方だったのではないだろうか?と痛感している次第です。本当にダメな大人たちで申し訳ありません。ごめんなさい。ごめんなさい。

最後に素人撮影&編集ですが、実行委員会でPVを作成しましたのでご覧下さい。コンテストのライブ感が伝わると思います。次回は8月後半ぐらいに第4回を開催する予定であり、運営学生、参加選手、協賛企業、実行委員など公募していきますので、皆様よろしくお願い致します。

勉強会, 趣味, 雑談

◯◯オーケストレーション、という言葉が流行っているので、オーケストラについての勉強をしました。

オーケストラは自律した個々が集まって協調しながら活動しています。

社会の縮図みたいなもんですね。

プロジェクト, 勉強会

社内勉強会でプロジェクトについての勉強会をしました。

3行でまとめると以下。

  • プロジェクトをちゃんと定義しましょう
  • オーナーが誰か意識しましょう
  • うまくいくように考え続けましょう

PAGE TOP