2014/06/06
大規模 PC Cluster を導入頂きました。
近年、計算機・ネットワーク技術の普及と各種センサ技術の発展に伴い、多種多様なモノがネットワークに接続され、現実世界のさまざまな事象を「データ」として情報技術の世界から捉えることが可能になってきました。本グループでは、このような膨大なデータの収集・蓄積・発信・分析・発見・利用を可能にする技術を中心に研究開発を行っています。特に、多種多様大量のデータを対象とした高度かつ高性能なデータ処理技術、公的な知的基盤情報の高度利活用技術、地理空間情報を対象としたデータ利活用技術の研究開発を進めています。
情報技術研究部門ホームページ〔データサイエンス研究グループ〕
http://itri.aist-go.jp/group/datascience.html
【多種多様大量のデータを対象とした高性能データ処理技術】
Internet of Things(IoT:モノのインターネット)を構成するデバイスの数は、2009年時点では10億個満たなかったものの、2020年には260億個にのぼると言われています。こうした膨大な数のデバイスを通じて実世界から取得されるデータ(ビッグデータ)の処理を可能にすることを目標に、スケーラブルで高性能なデータ処理技術の研究開発を行っています。特に、データアフィニティを考慮した高性能データ処理系技術、データベースシステムとの協調によるスケーラブルな機械学習技術、ストリームデータ解析技術を始めとする要素技術の研究開発に注力しています。また、これらの要素技術を活用したWeb広告配信等の自動最適化、社会インフラ維持管理などの応用にも積極的に取り組んでいます。
【知的基盤情報の高度利活用技術】
データの量だけでなく、質について着目した研究開発として、知的基盤情報を高度に利活用するための技術開発を行っています。特に、セマンティック・ウェブを実現するコア技術として注目されているLinked Open Data(LOD)に関する研究開発を行っています。具体的には、アダプティブにプランを変更する分散LOD検索技術や大規模LODに対する効率的な並列演算アルゴリズムなどの基礎技術の研究開発に加え、資源間の関連を可視化するツールも開発しています。これらの技術開発と並行して、運用に基づく実証化研究も実施しており、産総研が保有する知的基盤情報のオープンデータ化およびLOD化を積極的に推進しています。
【地理空間情報を対象としたデータ利活用技術】
場所と時間によって有益かつ容易なデータ連携が可能になる地理空間情報(地図情報、気象データ、衛星アーカイブ、人・車両の位置情報、ソーシャルデータ等)は、ビッグデータ・オープンデータ技術の重要な実証フィールドと認識されています。そこで、上記技術の応用先として地理空間情報を対象としたデータ利活用技術の研究開発を行っています。特に、Open Geospatial Consortium(OGC)やW3Cなどの国際標準規格に基づいて、異種の地理空間データ、ソーシャルデータ、移動物やセンサから得られるストリームデータを連携する技術開発や、サービス構築に取り組んでいます。具体的には衛星アーカイブにおけるメタデータ検索や、放射線センサなどのデータ統合、頑健かつ平易な認証・認可技術に基づいたサービス間連携(ワークフロー)などに注力しています。また、こうした応用から得られた知見をフィードバックすることで要素技術の検証・改良にも役立てています。
今回導入したクラスタは、当研究グループで進めている多種多様大量のデータを対象とした高性能データ処理技術の応用研究に用いるためのものです。このため、省スペースで、計算能力、ストレージ容量、ディスクI/O性能がバランスし、かつ価格性能比に優れたサーバを調達することにしました。
今回は1ラックにフロントエンドサーバ1台、マスターサーバ2台、ストレージサーバ30台、合計33台(すべて1Uサーバ)を収納したクラスタを構築しました。特にストレージサーバとしては、6コアのCPU 2基(12並列)、メモリ64GB、データストレージには 2.5インチSAS HDD 1TB×7本を搭載した、1Uサーバーを導入しました。
従来開発用に用いていたクラスタに比べて、計算能力で1.5倍以上、メモリ容量・総ディスクI/O性能で3倍以上という規模ながら同一サイズの1ラックに収めました。
産総研には、当研究グループで開発している高性能データ処理技術のみならず、測位技術、画像解析技術、機械学習技術、特徴抽出技術を含むさまざまな技術シーズがあります。これからも増え続けるビッグデータを解析していくためには、個々の技術シーズを高度化していくことはもちろんですが、組み合わせて利活用する応用研究も不可欠です。今回導入したクラスタを活かして、新しいビッグデータ解析の応用研究を進めていきたいと考えています。