株式会社HPCテック | Bright for HPC

HPCTECH Solution

Bright Cluster Manager

Bright for HPC

お問い合わせ

　　HPCテックは Bright Computing 社 アドバンスドパートナーです。

Bright Cluster Manager for Deep Learning はこちら

　Deep Learning・AI 研究・HPC で使われる Linux クラスタはサーバとストレージ、ネットワークなど複数の要素で構成されており、すべてが連携して動作する必要があります。オープンソースのツールと自家製スクリプトを使用したクラスタシステムを構築するには時間と労力がとても掛かります。また、用意した計算資源の維持運用には熟練のスタッフと継続的なメンテナンスが必要で、なにか一つ欠けてしまうと研究に大きく遅れが生じてしまいます。予算の少ない新しい企業や研究機関では、熟練のスタッフを必要とせず、経験の浅いスタッフでもこれらをカバーできる簡単なアプローチが必要になります。

　そこで HPC テックでは、長年クラスタ管理に取り組まれている Bright Computing 社の Bright Cluster Manager をご提案させていただきます。日本国内での販売パートナーとなっており、クラスタに関する全てのご相談を承っております。お気軽にご相談ください。

Bright Cluster Manager を導入すると
それら面倒なインストール作業や設定作業を
簡単に確実に行うことができます。

　Index・・・・・・・・・・・・・・・・・・・
　　　　・Bright Cluster Manager 特徴 - FEATURES
　　　　・構築・拡張・管理を簡単に
　　　　・構築に困っていませんか？
　　　　・拡張に困っていませんか？
　　　　・管理に困っていませんか？
　　　　・ジョブスケジューラを簡単導入
　　　　・無償版 Bright Cluster Manager EASY8
　　　　・試しにクラスタを管理
　　　　・ライセンス
　　　　・Bright Cluster Manager 導入事例
　　　　・ドキュメント　関連資料

Bright Cluster Manager クラスタ管理システム

　Bright Cluster Manager は、クラスタシステムを運用するために必要な機能(要件)が全て含まれている包括的なクラスタマネジメントツールです。Deep Learning・AI、ハイパフォーマンスコンピューティングといった大規模のシステムに最適です。
　GUI によるクラスタ管理、自動クラスタ管理、バッチキューイング管理といった基本的な機能はもちろん、運用に欠かせない、クラスタ監視、クラスタヘルス機能などがあります。一度構築が済んだあとでも、ノードプロビジョニングとイメージの管理の機能で簡単にコンパイラ、MPI ライブラリなどを組み込む事が可能です。

Bright Cluster Manager を導入するとそれら面倒なインストール作業や設定作業を簡単に確実に行うことができます。

Bright Cluster Manager すべてを簡単に - FEATURES

▶ Deploys Easily

　 Linux (Red Hat Linux、CentOS、Ubuntu 他 )、 Workload Manager、Hadoop、
　 Spark、Cassandra といった必要なものすべてをインストールできます。

▶ Installs on Bare Metal

　 Bright Cluster Manager では一切プリインストールをする必要がありません。
　クラスタをベアメタル上、クラウドに構築してからはじめる事ができます。

▶ Provides Comprehensive Monitoring

　ハードウェア、ソフトウェア、およびジョブベースのメトリック等を幅広く監視、
　視覚化、分析することができます。

▶ Includes Two Powerful User Interfaces

　 Bright Cluster Manager には２つのユーザインターフェースが用意されています。
　 GUI と CLI のどちらでもクラスタの設定、監視、管理する事ができます。

▶ Integrated GPU and Hardware Accelerator Management

　統合グラフィックス処理ユニット (GPU) やアクセラレータの利用を監視、管理して
　コントロールする事でハードウェア性能を最大化します。

▶ Optimizes Use of IT Resources

　 Bright Cluster Manager は組織のポリシーに従ってアプリケーションにリソースを確実
　に割り当てます。目標に応じてワークロードの優先実行を行うことができます。

▶ Containers

　 Docker、Kubernetes、Mesos、Marathon とのプラグ＆プレイ統合により、
　 Bright Cluster 内でコンテナをスケジュールして起動することができます。

▶ Includes Tools and Libraries

　 HPC と Deep Learning 用のライブラリとツールのセットが用意され、すぐに開発、
　デバッグ、およびコードをデプロイできます。

Bright Cluster Manager - 構築・拡張・管理を簡単にできます

　初めから大きな計算機システムを持たず静音ワークステーション HPCT W117s などの共有メモリ型並列計算機を利用し、計算規模が大きくなるにつれ複数台の計算機を増設し分散メモリ型並列計算機として構築し運用されていくケースが多くあります。
　一般的に並列化した計算機は、MPI ライブラリを利用したアプリケーション、それらをコンパイルするコンパイラやバッチ処理のための JOB 管理システムなどが連携する事で初めて計算が行えます。これら連携の管理は重要ではあるものの、大変煩雑で計算機を利用するだけであれば本質的には逃れたい部分でもあります。Bright Cluster Manager を使うことで、これらの煩雑な連携、設定を簡易化する事ができます。

　よく目にするケースで研究を進めるうちに計算リソースが足りなくなり計算リソースを強化したいという場面があります。この場合 CPU 等をより高性能なものに換えるアプローチと新たにサーバを増設するアプローチの二つが考えられます。
　前者ですと手間をかけずに計算リソースの性能を上げられますが交換された部品が宙に浮くなどして少々もったいない面があります。後者ですと計算ノードの増設に加えて連携の手間が増えますが、単純に増やした分だけ計算リソースは増えます。どちらも一長一短ですが Bright Cluster Manager を使っていると後者の連携の手間が大きく削減されます。本来であれば OS やアプリケーションのインストールを含め、連携に必要な設定が台数分ありますが、何ノード増設することになっても Bright Cluster Manager なら数ステップで増設作業を終えることができます。また管理もしやすく、例えばユーザの追加や CPU や GPU などのヘルスチェック（発熱温度など）状況をひとまとめに表示して直感的に把握することができます。

初めて計算機を導入。リソースが不足したらクラウドも計算リソースとして使用。

ワークステーションやラックマウントサーバに Bright Cluster Manager と必要なライブラリやスケジューラ等をセットアップしてお届けします。計算リソースが必要になったら AWS 等のクラウドに計算ノードを追加することができ、ブラウザベースの Bright View で一元管理することができます。日本語簡易マニュアルもご提供いたします。

計算リソースが足らなくなり新しく計算ノードを追加。ストレージや不測の事態に備えて UPS（無停電電源装置）も追加。

計算ノードやストレージ等を追加する場合でも Bright Cluster Manager なら数ステップで増設作業を終えることができます。設置作業やそれに伴うケーブリング作業、UPS の設定等、手間のかかる作業は HPC テックにてご依頼をお受けしています。

メンバー増加に伴い計算リソースを拡大。ストレージの増強と高速インターコネクト InfiniBand を追加。管理ノードを単一障害点にさせないため、アクティブ・スタンバイ型の HA（High Availability：高可用性）クラスタシステムの構築。全ノードの状態管理を行い、各チーム（各個人）がどれだけ使用しているのかレポート作成。

メンバーが増えても Bright Cluster Manager なら簡単に管理を行うことができます。各個人または各チームの利用レポートを取得することができますし、全ノードのヘルスチェックも Bright View で簡単に行うことができます。また、安定した運用を行うための管理ノードの冗長化も Bright Cluster Manager なら簡単にできます。

HPC クラスタシステムについて

　これからクラスタシステムのご購入を検討中のお客様向けにクラスタシステムの概略を
ご紹介しています。

下記バナーよりレポートをご覧ください。

構築に困っていませんか？ - EASY TO Deploy

　Bright Cluster Manager を使用するとオペレーティングシステムを含め、追加のソフトウェアを必要とせずにクラスタをベアメタル環境にインストールできます。ソフトウェアのインストールウィザードでいくつかの質問に回答するだけで、Linux、Hadoop、Spark、および OpenStack のディストリビューションなどシステム管理者が必要とするインフラストラクチャコンポーネントをインストールすることができます。

システム管理者は、ソフトウェアのインストール方法を柔軟に選択でき、効率的にクラスタを構築することができます。

拡張に困っていませんか？ - EASY TO Extension

▶ Cloudbursting 機能

　・Bright Cluster Manager はパブリッククラウド内の仮想サーバ上で実行されている
　　クラスタも、ローカルマシンのようにプロビジョニングおよび管理することができます。
　　この機能を使用して AWS または Azure でクラスタ全体を最初から構築するか、
　　または追加容量が必要な場合に物理クラスタをクラウドに拡張することができます。

▶ Deep Learning 環境拡張

　・Bright Cluster Manager では、Caffe、Torch、Tensorflow、Theano などから
　　フレームワークを選択することができ、Deep Learning プロジェクトを簡素化します。
　・管理者は複雑なデータセットにアクセスするために、最も一般的な機械学習ライブラリから
　　選択することができます。
　・機械学習パッケージ、NVIDIA ハードウェアドライバ、CUDA ドライバ、および NCCL を
　　サポートする Python モジュールを含むインフラストラクチャの要素をサポートしています。
　・管理者は手軽に Deep Learning フレームワークを実行するための構成および展開を
　　することができます。

▶ ストレージ拡張

　・分散ファイルシステム BeeGFS、Ceph も簡単に構築できます。

管理に困っていませんか？ - EASY TO Monitor

　Linux 関連の知識がほとんどない担当者でも簡単にクラスタを管理できるように設計されたグラフィカルユーザインターフェース (GUI) 、もしくは従来型のコマンドラインインターフェース (CLI) を使いクラスタをプロビジョニング、監視および管理することができます。幅広い監視機能により、ハードウェア、ソフトウェア、およびジョブベースを総合的かつ容易に監視、視覚化、分析できます。
　統合グラフィックス処理ユニット (GPU) 等のアクセラレータ、CPU の利用を監視、管理することで、使用率などの情報を一元管理する事ができます。例えば、誰（どのグループ）が何時間何コアを使用したかなどのレポートも簡単に GUI で見る事ができますので、複雑な管理を必要とする研究機関などには最適です。

ジョブスケジューラを簡単導入

Bright Cluster Manager をインストールすると、ジョブスケジューラを自動的にインストールすることができます。

　▶ slurm

　▶ PBS Pro

　▶ LSF

　▶ Altair Grid Engine

JOB 管理システム “Slurm” のご紹介

　弊社では JOB 管理システムとして、Altair Grid Engine、pbspro-ce^※、IBM Spectrum LSF-C^※、SGE、Torque、そして Slurm などのインストールサービスを、弊社ワークステーションやサーバをお買い上げのお客様のご依頼によりご提供しています。
　※：無償のコミュニティエディション

下記バナーよりレポートをご覧ください。