トランスフォーマー vs. ポスト・トランスフォーマー討論会：Kaiser、Kosowski、Jones、Lechner［動画］

トランスフォーマーアーキテクチャの限界と、その次世代モデルをめぐる専門家4名による白熱した討論会。論文「Attention Is All You Need」から7年、新たなアーキテクチャの可能性やスケーリング則、トークン生成の効率性について掘り下げる。Kaiser氏（元Google Brain）はState Space Modelsの可能性を、Kosowski氏（Anthropic）はトランスフォーマーの汎用性をそれぞれ主張する。