アリババ、高度な画像・テキスト編集のための20Bオープンソースモデル「Qwen-Image-Edit」をリリース

アリババクラウドの クウェン チームは、20B Qwen-Imageフレームワークから派生した高度な画像編集モデルであるQwen-Image-Editを発表しました。この新システムは、Qwen-Imageの独自のテキストレンダリング機能を画像編集に適用することで拡張し、特にテキスト修正の精度に重点を置いています。Qwen-Image-Editは、視覚的な意味制御を管理するQwen2.5-VLと、視覚的な外観を制御するVAEエンコーダというXNUMXつの並列コンポーネントを介して入力画像を処理します。この二重のアプローチにより、意味レベルと外観レベルの両方の編集タスクを効果的に処理できます。このツールは、Qwen Chatの「画像編集」機能からアクセスできます。

Qwen-Image-Editは、複数の編集次元にわたって動作するように設計されています。画像の他の領域はそのままに、視覚要素の追加、削除、変更といった外観レベルの調整と、知的財産の作成、オブジェクトの回転、スタイルの転送といった意味レベルの編集の両方をサポートします。これらの編集では、より広範なピクセル変更が許可されますが、意味的な整合性は維持されます。また、中国語と英語の両方で洗練されたテキスト編集機能も提供しており、フォント、サイズ、スタイルの一貫性を維持しながら、画像内のテキストを追加、削除、調整できます。広く認知されている複数のデータセットを対象としたベンチマークテストの結果、Qwen-Image-Editは画像編集において最先端のパフォーマンスを達成しており、この分野における将来のアプリケーションの強力な基盤モデルとして位置付けられています。

Qwen-Image-Edit によるクリエイティブかつ実用的なアプリケーションのためのセマンティックおよび外観編集

一つ defiQwen-Image-Editの優れた点は、セマンティック編集と外観編集の両方における高度な機能です。セマンティック編集とは、画像の視覚的な意味を損なうことなく、画像の内容を変更することです。この機能を分かりやすく説明するために、開発チームは次のような例を挙げてその使用方法を示しています。 クウェン の公式マスコットであるカピバラを実例として挙げます。

観察してみると、修正後の画像の大部分のピクセルが左の元の入力画像と異なっているにもかかわらず、カピバラのキャラクター全体の一貫性は完全に維持されていることがわかります。これは、Qwen-Image-Editの強力なセマンティック編集機能を示しており、これにより、柔軟かつ多様な独自の知的財産コンテンツの開発がサポートされます。さらに、Qwen Chatでは、16のMBTI性格タイプに基づいた専用の編集プロンプトセットが作成されました。これらのプロンプトを使用することで、カピバラのマスコットをフィーチャーしたMBTIテーマの絵文字パックの完全なコレクションを作成することに成功し、キャラクターの表現と視認性を効果的に拡張しました。

さらに、斬新なビュー合成は、セマンティック編集におけるもう一つの重要なユースケースです。Qwen-Image-Editは、オブジェクトを90度回転、あるいは180度回転させることが可能で、オブジェクトの背面を直接視覚化できます。セマンティック編集のもう一つの例は、スタイル変換です。例えば、標準的な肖像画を、スタジオジブリを彷彿とさせるスタイルを含む、複数の芸術的美学へと再解釈することができます。

意味編集と並んで、外観編集は画像修正において頻繁に必要とされる機能です。このアプローチは、画像の特定の領域を全く変更せずに、指定された要素を追加、削除、または変更することに重点を置いています。看板がシーンにシームレスに組み込まれている例からもわかるように、外観編集は人物の背景調整や服装の修正など、幅広い用途に適しています。 defiQwen-Image-Edit の最大の特徴は、テキスト編集の精度です。これは、Qwen-Image のテキスト レンダリング テクノロジーに関する高度な専門知識から生まれた機能です。