イリノイ大学アーバナ・シャンペーン校のSSAIL Lab、Anyscale、Snowflakeの研究チームが開発した「AutoSP」は、標準的なトランスフォーマー学習コードを自動的にシーケンス並列コードへ変換するツールです。複数のGPUにわたる長文脈のLLM学習に対応しており、既存の学習コードへの統合が簡単に行える点が特徴となっています。 長文脈のLLM学習は、より長い入力シーケンスを処理する必要があるため、従来の手法では単一GPU内でのメモリ制限に直面します。AutoSPはこの課題に対し、シーケンス並列化という手法を活用して、計算とメモリ処理を複数GPU間で効率的に分散させます。シーケンス並列化により、各GPUが処理するシーケンスの一部を分割し、複数のGPUで並行処理することで、長い文脈長を扱うことが可能になります。 本来、こうした並列化処理をコードに組み込むには、複雑な実装と細かな最適化が必要とされてきました。しかしAutoSPは、ユーザーが書いた標準的なトランスフォーマー学習コードに対して、自動的にシーケンス並列化を施すため、開発者は複雑な並列処理の詳細に深入りすることなく、長文脈LLMの学習を実現できます。これにより、開発効率が大幅に向上し、より多くの研究者や企業がLLMの長文脈学習に取り組みやすくなることが期待されています。