80TB+の天文学データをHDD不足でも:ラップトップから宇宙をクロスマッチ
天文学の大規模データセット(80TB超)を、高性能なストレージがなくても扱えるようにする新しい手法を紹介。ラップトップ1台で宇宙規模のクロスマッチ(天体の同一特定)が可能になり、研究の参入障壁を大きく下げる。
背景メモ
- Hugging Face が公開した「Multimodal Universe」データセットは、宇宙望遠鏡(ハッブル、ジェイムズ・ウェッブ、ユークリッドなど)が観測した画像と分光スペクトルを統合したデータセット。合計80TB超の大規模データだが、Hugging Face の Datasets ライブラリを使えば、ストリーミング読み込みにより手元のPCのHDD容量を圧迫せずに分析できる。
- 複数の望遠鏡・波長帯のデータを「クロスマッチ」(天体同士を同一IDで紐づける処理)済みで提供しているのが特徴。これにより、従来は専門知識と大容量ストレージが必要だった天文データの横断検索が、ノートPC上のPythonから数行のコードで可能になった。
- 背景として、Hugging Face は大規模言語モデル(LLM)のプラットフォームとして有名になった企業だが、近年は「Hugging Science」のようなプロジェクトで自然科学向けのデータ公開・モデル共有にも力を入れている。本データセットはその一環で、分野を超えた機械学習研究の促進を狙っている。