HuskHoardはLinux向けの自動かつ透過的なデータ階層化（データティアリング）エンジンです。 OSからはすべてのファイルが完全に見える状態を保ちながら、コールドデータをLTOテープ、HDD、またはクラウドへバックグラウンドでサイレントにアーカイブし、高価なNVMeドライブの高速性を維持します。
エンタープライズベンダーは、データを独自のブラックボックスに囲い込むために数千ドルの費用を請求します。HuskHoardは、あなたがすでに所有している標準フォーマットを使用し、ユーザースペースでこれを無料で実現します。
ファイルは元の論理サイズのままOSから可視化されます。アプリケーションは違いに気付きません。プロセスがスタブ化された（実体のない）ファイルを開くと、HuskHoardがLinuxの fanotify カーネルAPIを通じてインターセプトし、リアルタイムにリコール（復元）します。FUSEのオーバーヘッドやマウントの魔法はありません。
LTOテープやS3からローカルHTTPブリッジ経由で4K動画を直接再生。Plex、Jellyfin、VLCはHTTP Rangeリクエストを使用して、巨大なファイルを瞬時にシークできます。SSDの容量を一切消費せず、ファイル全体のリコールも不要です。
メディア・エンターテイメント・パイプライン対応
すべてのペイロードデータは、BLAKE3で検証された標準のZstdストリームとして保存されます。コマンドラインの dd と zstd だけで、すべてのデータを抽出可能です。独自のフォーマットやライセンスキー、許可を求める必要は一切ありません。
LTO-5からLTO-9用のネイティブSCSIドライバー。SMRドライブに安全なログ構造化書き込み（Log-structured writes）により「ライトウォール」を排除。rcloneを通じた40以上のクラウドプロバイダーへのレプリケーションに対応し、最適化された16MBのZstdフレームにパッキングしてAPIコストを最小限に抑えます。
LTO · SMR · S3 · rcloneHuskHoardの各パーツは、それぞれ1つの役割を正確に遂行します。これらが組み合わさることで、継続的かつ自律的に管理されるストレージパイプラインを形成します。
すべてのファイル、完全なバージョン履歴、物理メディア上の正確なバイトオフセットを追跡します。システム全体の単一の信頼できる情報源（Single source of truth）です。
軽量なカーネル空間のリスナー。アプリケーションがスタブ化されたファイルを要求したことを検知し、プロセスをブロックして瞬時にリコールをトリガーした後、処理を再開します。
経過日数、拡張子、ディレクトリなどのルールに基づいてコールドデータを特定するバックグラウンドデーモン。ユーザーの作業を中断させることなく、アーカイブワーカーへタスクをキューイングします。
データをシーク可能なZstdフレームに圧縮し、ストレージプール全体への書き込みを多重化し、テープハードウェア向けの低レベルSCSIコマンドを発行します。
Linuxの fanotify カーネルAPI上に構築されたHuskHoardは、完全にユーザースペースで動作します（カーネルモジュールやrootデーモンは不要です）。N-Wayレプリケーションにより、ローカルドライブ、物理テープ、クラウドバケット全体にコールドデータを同時にミラーリングします。ポイントインタイム・リカバリにより、任意のファイルを過去のバージョンにロールバック可能。BLAKE3によるビットロット（データ劣化）スクラバーが、設定したスケジュールでオフラインストレージを暗号学的に検証します。アーキテクチャの詳細な解説については、ブログをご覧ください。
HuskHoardは、無駄なストレージ支出の三大要因を排除します。部分的な読み取りで発生するクラウドのエグレス（データ転送）費用、月に1度しかアクセスしないデータのために電力を消費し続けるRAIDアレイ、そして必要以上にギガバイト単価が高いハードウェアです。
クラウドプロバイダーはダウンロードしたバイト数に応じて課金します。一般的なアーカイバーはファイル全体を取得してしまいます。HuskHoardは、すべてのアーカイブを独立した16MBのZstdフレームに分割し、各オブジェクトの先頭にTLVインデックスを埋め込みます。これにより、単一のHTTP Range リクエストで必要なフレームだけを正確に取得できます。150GBのオブジェクト内にある5MBのドキュメントを読み取る場合、エグレス費用は150GB分ではなく、5MB分しかかかりません。MP4などの事前圧縮メディアでは、バイトオフセットは1対1となり、展開オーバーヘッドなしでO(1)のシークが可能です。
標準的なRAID-Z2アレイはすべてのディスクにデータをストライプするため、1つのファイルを読み取るだけで8台すべてのドライブがスピンアップします。PlexやSambaからのバックグラウンドのメタデータPingだけでも、アレイがスリープすることは永遠にありません。HuskHoardはすべてのメタデータをNVMe（ホットティア）に保存します。アーカイブドライブは純粋なペイロードタンクとなり、そのボリュームが必要になるまで0Wで完全に電源を落とします。
大規模環境では、ソフトウェアの最適化よりもストレージメディアの選択が重要になります。LTO-9テープのGB単価は、CMRハードドライブの約1/6、NAS用SSDの1/15です。定格メディア寿命は30年で、アイドル時の電力は0Wです。HuskHoardは、テープをローカルSSDのように検索可能かつアクセス可能にするソフトウェアレイヤーを提供し、コストを大幅に削減します。
クラウドリプリケーションも同様のロジックに従います。HuskHoardは、1つのファイルにつき1つのS3オブジェクトをアップロードするのではなく、ファイルをシーケンシャルな大きな husk_XXXX.bin オブジェクトにパッキングします。何千もの小さなファイルが少数のAPIコールにまとまるため、トランザクションコストが劇的に削減されます。ファイルが読み戻される際、ターゲットを絞ったHTTP Rangeリクエストが関連する16MBのフレームのみを取得します。150GBのアーカイブオブジェクト内にある1つのドキュメントを取得するために、150GB分のダウンロード料金を支払う必要はもうありません。
クラウドアーキテクチャの詳細記事を読む →
HuskHoardは単一のCLIバイナリとして提供されます。Dockerは不要。複雑な設定デーモンも不要です。root権限ではなく、標準ユーザーとして実行できます。
オープンソースのコアエンジンは、AGPL v3の下で永久に無料です。 コアバイナリと一緒に動作するように設計されたエンタープライズ向けのサイドカーモジュールは現在準備中です。
リアルタイムの「タンクゲージ」モニタリング。視覚的なキャパシティプランニングと階層化アクティビティ。
準備中 (Coming Soon)Grafana対応の /metrics エンドポイント。本番環境のデプロイメントに完全な可観測性を提供。
準備中 (Coming Soon)プロジェクトごとのきめ細かいレプリケーションポリシー。SLAに裏付けられたリカバリウィンドウ。
準備中 (Coming Soon)専用のサポートチャンネル、保証された応答時間、オンボーディングの支援。
準備中 (Coming Soon)エンタープライズ機能の早期アクセスにご興味がある方、または商用展開に関するご相談をご希望ですか？
info@huskhoard.com →パフォーマンスの向上、新しいハードウェアドライバー、アーキテクチャの解説などの通知を受け取れます。