arXiv (NLP)AI
Mistletoe:推論段階の復号化における隠密な加速性能崩壊攻撃
Mistletoe: Stealthy Acceleration-Collapse Attacks on Speculative Decoding
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
大規模言語モデル(LLM)の推論を高速化する技術として、推論段階の復号化(speculative decoding)が広く採用されている。この手法は、複数の候補トークンを先読みモデル(drafter)で生成し、それらをターゲットモデルで並列検証することで、推論速度を大幅に向上させることができる。しかし、その効率性は平均受理長τ、つまり各検証ステップで何個の先読みトークンが採用されるかに大きく依存している。
本研究は、推論段階の復号化における新たな脆弱性を明らかにしている。先読みモデルはターゲットモデルの分布を近似するよう訓練されているが、この近似は必然的に不完全である。先読みモデルとターゲットモデル間のこうした不一致が、隠れた攻撃面を生み出す。攻撃者は小さな摂動を加えることで、ターゲットモデルの見た目の動作は保持しながら、先読みトークンの受理性を著しく低下させることが可能なのだ。
研究者らが提案する「Mistletoe」は、推論段階の復号化に対する隠密な加速性能崩壊攻撃である。この攻撃は、先読みモデルとターゲットモデル間の一致を低下させる劣化目的と、ターゲットモデルの出力分布を制約する意味保存目的を同時最適化する。両目的間の矛盾を解決するため、ヌル空間投影機構を導入し、劣化勾配を局所的な意味保存方向から投影して除去することで、意味的ずれを最小化しながら先読み受理を抑制する。
様々な推論段階の復号化システムでの実験により、Mistletoは平均受理長τを大幅に削減し、高速化効果を崩壊させ、トークンスループットを低下させる一方で、出力品質と困惑度を保持することが示された。本研究は、推論段階の復号化が既存の出力堅牢性を超えたメカニズムレベルの攻撃面をもたらすことを示唆しており、LLM加速システムのより堅牢な設計の必要性を強調している。