arXiv (CV)AI
PVRF:先行知識変調と速度制約型補正フローによる統一的悪天候除去
PVRF: All-in-one Adverse Weather Removal via Prior-modulated and Velocity-constrained Rectified Flow
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
悪天候下で撮影された画像の品質劣化を除去することは、コンピュータビジョンの重要な課題です。雨、霧、雪などの異なる気象条件は多様で予測困難な劣化をもたらすため、既存の手法では対応しきれないケースが多く存在します。特に、劣化駆動型の従来の学習方法は過度に平滑化された結果を生成してしまい、画像の細部情報が失われる問題がありました。
こうした課題に対して、研究チームはPVRFと呼ばれる革新的なフレームワークを提案しました。このアプローチは、凍結された大規模視覚言語モデル(VLM)を活用した気象タイプの推定と、これに基づいた適応的な画像復元を実現しています。具体的には、AWR-QAという悪天候除去専用の質問応答モジュールが、画像に含まれる気象タイプと低レベル属性スコアの確率分布を推定し、この情報を属性変調正規化(AMN)と気象加重アダプタ(WWA)を通じて復元ネットワークに伝達します。
さらにPVRFの核となるのが、速度制約型補正フロー(velocity-constrained rectified flow)の導入です。知覚適応型のソース摂動と終端一貫性のある速度パラメータ化により、学習の安定性を大幅に向上させています。実験結果によれば、PVRFは最先端の手法と比較して忠実度と知覚品質の両面で優れた性能を示し、単一および複合的な劣化条件下でも優れた汎化性能を発揮することが確認されました。