DDN、第5回年次HPCトレンド調査結果を発表　混在型I/Oワークロードが最大の課題であることが明らかに

HPCのエンドユーザーはフラッシュティアの採用を加速している一方、フラッシュ単独では混在型HPCワークロードの性能を発揮できず

2017-12-11 11:45

株式会社データダイレクト・ネットワークス・ジャパン(所在地：東京都千代田区、代表取締役：ロベルト・トリンドル、以下 DDN)は、年次のハイパフォーマンスコンピューティング(HPC)トレンド調査の結果を発表しました。
この調査によると、回答者のデータセンター戦略にとって、フラッシュベースのストレージが不可欠であり採用が継続していることが分かりました。回答者は、フラッシュは必須ですが、HPCアプリケーションの性能を最大限に引き出すためには更なる技術革新が必要だと考えています。また回答者にとって最大の課題は、混在型I/Oワークロードの性能を管理することであり、エンドユーザーの60％がこれを第1の課題として挙げています。

DDNによって5年連続で実施されたこの調査の結果には、データ集約型の幅広い業種にわたる100以上の世界中のエンドユーザーからの回答が含まれています。回答者は、HPC、ネットワーク、ストレージシステムなどの責任者であり、金融サービス業界、政府機関、高等教育機関、ライフサイエンス業界、製造業、国立研究所、石油・ガス業界の方々です。

管理・使用しているデータ容量

予想した通り、これらの組織・企業がそれぞれ管理するデータ量は増加し続けています。回答した組織・企業のうち、85％は、1PB以上のデータストレージを使用もしくは管理していました(昨年より12％増)。

あなたのチームはどれくらいの容量のストレージを管理もしくは使用していますか？

2018年にクラウドベースになるHPCデータの割合

調査の回答者は、引き続きクラウドの採用には含みのあるアプローチをしています。2017年にクラウド(プライベートとパブリックを含む)ベースのストレージを、少なくともデータの一部に活用する予定であるという回答者は全体の48％であり、昨年と比較すると約11％も増加しました。このようなクラウドストレージに対する意気込みとは裏腹に、わずか5％の回答者だけが、データの30％以上をクラウドに格納するだろうと答えています。回答者の40％は、来年には限られたデータ量であっても何らかの形でパブリッククラウドをソリューションとして使用するだろうと答えています。これは、使用が限定されていることと、パブリッククラウドサービスの経済性の向上が背景にあると思われます。昨年は、わずか20％だけがパブリッククラウドストレージを使用するだろうと回答していました。

フラッシュに格納しているデータの現在の割合と、将来の割合

HPCデータセンターでのフラッシュストレージの基本的な活用度にはさほど変動はなく、回答者の約90％が今日のデータセンター内で、ある程度フラッシュストレージを使用しています。むしろ、主な変化はフラッシュ内のデータ量です。回答者の大部分(76％)は、フラッシュメディアに格納しているデータ量は20％未満ですが、多くの回答者が2018年には増加するだろうと答えています。回答者の25％は20～30％のデータがフラッシュベースになり、他の回答者の10％はストレージデータの20～40％がフラッシュティアに置かれるだろうと答えています。

フラッシュの使用用途

また特に興味深いのは、顧客がワークフローにフラッシュを用いる用途です。調査回答者の大半(54％)は、主にファイルシステムのメタデータを高速化するためにフラッシュを使用しています。フラッシュをアプリケーション固有のデータのために使用することへの関心が高まっており、回答者の45％が、フラッシュストレージの少なくとも一部をこの目的で使用していることを示しています。そしてフラッシュの使用用途の対極と言えますが、フラッシュをユーザーデータに使用している顧客はほとんどいません。これはフラッシュとディスクストレージのコストの相違を考えれば理にかなっています。

アナリティクスにとっての最大のボトルネック

ストレージI/Oのボトルネックは、HPCストレージ管理者にとって依然として深刻な懸案事項です。特にアナリティクスのような集約型I/Oワークフローでは、分析ワークロードを実行している顧客の76％がI/Oを最大の課題とみなしています。このことを考慮すると、調査の参加者のうち既存のストレージ技術がエクサスケール要件を満たしていると考えているのは19％だけというのも、驚くことではありません。

HPCを次のレベルに押し上げる技術

回答者の大部分(68％)は、I/Oの課題を解決しHPCストレージを次のレベルに押し上げる可能性が最も高い技術は、フラッシュネイティブキャッシュであると考えています(昨年より8%増)。HPCストレージ管理者が、フラッシュネイティブキャッシュ技術を評価した、あるいは評価し始めた割合はこれまでになく高く、回答者の60％以上が、NVMなどのフラッシュネイティブキャッシュ・ソリューションを導入済みか、現在評価中か、あるいは評価する予定であると答えています。これらの技術が持つ影響力の大きさは、JCAHPCがフラッシュベースのキャッシュを使用して圧倒的な能力を発揮し、最初の年間ストレージI/Oベンチマークランキングでトップの地位を獲得した最近のio500.orgの結果( https://ddn.co.jp/media/2017/11/22/108 )が実証しています。

マルチサイトHPCコラボレーションに関する最大の障壁

多数のHPCサイトが実際に次々とマルチサイトHPCコラボレーションの導入に移行するにつれて、セキュリティが最優先課題として残りました。意外なことに、マルチサイトコラボレーションの第2の障壁は、技術やセキュリティとは何の関係もありません。回答者の43％が、データ共有の大きな障壁として、組織のセクショナリズムを挙げています。これは、データ共有が技術的に可能になったばかりでなく費用対効果も高いにもかかわらず、広範なコラボレーションを阻止する近視眼的な考え方がいまだに存在していることを示しています。

マルチサイトHPCコラボレーションに対する最大の障壁は？

DDNのマーケティング担当ディレクター　Kurt Kuckeinのコメント

「今年も、DDNの年次HPCトレンド調査は、より広範にHPCコミュニティが発展していることを示しています。I/Oパフォーマンスは、今日稼働中のHPCアプリケーションのパワーを引き出す上で重大なボトルネックです。ストレージインフラストラクチャにフラッシュを追加するだけでは、期待されるアプリケーションレベルの改善は得られないことに顧客は気付き始めています。サプライヤーはNVM向けに最適化されたフラッシュティアを含むアーキテクチャの提供を開始しており、顧客はこれらの技術を活用して積極的に導入を進めています。DDNのIMEに代表される技術は、特にアプリケーションにまで至るI/Oの加速に最大限の影響を与えることを目標にしています。」