コミックに関する100万ページ超
この記事では、Web上で利用可能なコミックに関する100万ページ以上のコンテンツについて論じている。作者はこの膨大なページ数の意味や、コミックファンや研究者にとってのその価値について考察を述べている。
背景メモ
- これはLars Ingebrigtsenによるブログ記事。IngebrigtsenはEmacs（テキストエディタ）のGnusニュースリーダーのメンテナーとして知られるプログラマー。
- この記事では、著者がWebスクレイピングで収集した100万ページ超のコミック関連ページについて書かれている。大規模なコーパス（テキスト集合）をどう構築・処理したかがテーマ。
- 背景として、近年LLM（大規模言語モデル）の学習データにWebスクレイピングが広く使われており、Common Crawlのような公開データセット以外にも個人が趣味で大規模データセットを作る事例が増えている。
- この記事は「ある技術者が趣味で大規模データセットを作ってみた」という一種のプロジェクト報告であり、LLMやデータエンジニアリングに関心のある読者を想定している。