FLUX-Text は、シーン テキスト編集 (Scene Text Editing) 用のオープン ソースの拡散トランスフォーマー モデルです。多言語テキストの変更、追加、修復をサポートします。ポスター編集、絵文字制作、広告デザインなどの画像やテキストの処理シナリオに適しています。

FLUX-Text

FLUX-Text (Flux Text) は、AMAP 機械学習チームによってオープンソース化された多言語シーン テキスト編集モデル (Scene Text Editing、STE) です。画像内の既存のテキストの変更、削除、または新しいテキストの追加に重点を置いています。汎用グラフィック モデル (Stable Diffusion や Midjourney など) とは異なり、FLUX-Text の中核となる機能は「画像内のテキスト コンテンツを正確に制御する」ことです。ユーザーは、ポスターの中国語タイトルを英語に変更する、絵文字パッケージの吹き出しテキストを変更する、または製品画像の価格テキストを置き換えることを指定できます。また、変更結果は視覚的に自然な統合を維持し、編集の痕跡を残しません。

コアパラメータと統計

パラメータ項目	仕様
製品名	FLUX-Text	フラックステキスト
カテゴリー	AI画像編集・シーンテキスト編集
納品形態	オープンソース モデル (事前トレーニングされた重み + 推論コード)
オープンソースライセンス	公式リポジトリの対象
モデルアーキテクチャ	拡散トランス (DiT)
サポートされている言語	中国語、英語、その他の言語
主要なタスク	シーンテキスト編集（画像内のテキストを修正・追加・消去）
プロジェクトの所有権	AMAP ML チーム (アリババ / AMAP)
論文が出版されました	arXiv (2025-05)
オープンソース プラットフォーム	GitHub + ハグフェイス
デモ環境	グラデーションデモ
研究チーム	ルイ・ラン 他

FLUX-Text と汎用テキスト描画モデルの基本的な違い: P 描画ソフトウェアと汎用 AI 画像ツールは、通常、画像内のテキストを処理するときに「画像全体の再描画」しか行うことができず、特定のテキスト領域の変更を正確に制御できません。背景、文字、構成が変更される可能性があります。 FLUX-Text は指定されたテキスト領域のみに作用し、画像の他の部分は変更されません。これにより、ポスター編集、広告の修正、表現パックの作成、製品画像の価格更新など、「画像は変更せずに単語のみを変更する」必要があるシナリオで、この機能はかけがえのないものになります。

ユーザーと市場の認識

学術的なオープンソース プロジェクトとして、FLUX-Text の影響力は主に研究コミュニティとオープンソース コミュニティに反映されています。この論文は arXiv (2025-05) に掲載され、シーン テキスト編集 (STE) という細分化された研究分野で一定の注目を集めました。 GitHub リポジトリは完全な推論コードと事前トレーニングされた重みを提供し、Hugging Face でホストされている Gradio デモを使用すると、ユーザーはオンラインでモデルの効果を体験できます。

現時点では、FLUX-Text はまだ広範なエンドユーザー市場を形成していません。主な対象者は C エンド消費者を直接ターゲットとするのではなく、AI 研究者や開発者です。製品形式は SaaS プラットフォームではなくオープンソース モデルであるため、ユーザーが使用するには特定の技術的能力 (Python 環境の構成、モデルのダウンロード、推論) が必要です。市場認知度の中心となる指標である論文の引用数、GitHub Stars、Hugging Face のダウンロード数は、各プラットフォームのリアルタイム データに基づくことが推奨されており、ここでは推測的な引用は行われません。

コストメリット

コスト ディメンション	説明
ソフトウェアライセンス	$0 (オープンソース モデル、公式ライセンスの対象)
推論コンピューティング	GPU が必要 (16GB 以上の VRAM を推奨)、クラウド GPU のレンタルは 1 時間あたり約 0.5 ～ 2 ドルです
導入と運用	Python および PyTorch 環境構成が必要です
APIサービス	公式にホストされた API はありません。 Gradio デモは研究とデモンストレーションを目的としています。

オープンソース モデルの主なコスト上の利点: ライセンス料がゼロ + 完全にカスタマイズ可能。サブスクリプション（月額 10 ～ 60 ドル）ベースの商用画像編集 SaaS（Adobe Firefly、Canva AI など）と比較して、FLUX-Text はプライベート展開やバッチ処理の技術力を持つチームに適しています。毎日 1,000 枚の製品画像のテキスト置換を処理する必要がある e コマース シナリオの場合、FLUX-Text を自己展開する限界コストは主に GPU コンピューティング能力 (1 日あたり約 15 ～ 30 ドル) ですが、商用 AI 編集サービスを一括購入するコストは通常​​ 100 ～ 500 ドル/日です。

隠れたコスト: モデル推論には GPU リソース (16GB 以上の VRAM を推奨) が必要ですが、技術者以外のユーザーはこれを直接使用できません。このモデルは、型破りなフォント (手書き文字、ワードアートなど) の編集には理想的ではない可能性があります。現在のバージョンでは、ビデオのシーン テキスト編集はサポートされていません。

主な機能

• シーンテキスト変更: 画像の指定された領域のテキストコンテンツをターゲットテキストに置き換えます。たとえば、ポスターの「2025 Spring Conference」を「2025 Summer Promotion」に変更すると、モデルが元のテキストのフォント スタイル、フォント サイズ、色、遠近角に自動的に一致し、変更されたテキストが視覚的に背景にシームレスに溶け込みます。
• シーン テキスト消去: 画像内の不要なテキスト領域を消去し、消去された領域を適切な背景コンテンツで塗りつぶします。たとえば、製品画像からブランド ロゴ テキストを削除し、スクリーンショットからタイムスタンプを削除します。消去結果は背景の複雑さに依存します。消去は、単色または均一なテクスチャの背景で最適に機能します。
• 新しいシーン テキスト: 画像内の空白領域 (壁、バナー、ラベルなど) に指定したテキストを挿入します。新しいテキストの位置はユーザーによって指定され (長方形のフレームまたはマスクでマークされます)、モデルはその領域の遠近関係と照明条件を自動的に決定し、それに一致するテキスト効果を生成します。
• 多言語サポート: 中国語と英語でのシーン テキスト編集をサポートします。両方の言語が同じモデル フレームワークの下で処理され、中国語と英語のテキストを同じ画像内で混合して編集できます。
• デフォルトのフォント スタイルの移行: テキストを編集するとき、モデルは元のテキストのフォント スタイル (セリフ/サンセリフ、太さ、傾斜角度) を自動的に抽出し、それをターゲット テキストに適用します。ユーザーが手動で指定する必要はありません。
• 背景の一貫性: 編集エリア外の画像コンテンツはまったく変更されません。 - FLUX-Text はユーザー指定のテキストエリアでのみ動作します。これが、一般的な画像編集モデルとの主な違いです (これらのモデルは、周囲の領域を「変更」する傾向があります)。

モデルとバージョンの進化

バージョン	発売日	主な変更点
v0.9 (研究版)	2025-05-06	シーンテキスト編集の実現可能性を検証するための arXiv 論文と最初の推論コードをリリース
v1.0 (正式版)	2025-07-04	オープン Gradio デモと事前トレーニング ウェイト、多言語シーン テキスト編集をサポート

バージョン レコードは、公式の GitHub リリースおよび arXiv の紙のバージョンに準拠します。 FLUX-Text の反復的な方向性は、コミュニティからのフィードバックと技術の進歩に基づいて研究チームによって推進されます。現在、公開バージョンのロードマップはありません。

技術的な利点

• 拡散トランスフォーマー (DiT) アーキテクチャ: FLUX-Text は、従来の U-Net 拡散モデルではなく拡散トランスフォーマーに基づいています。 DiT アーキテクチャは、画像生成品質において同様の U-Net モデルよりも優れており、より鮮明なテキスト エッジとより自然なテクスチャ フュージョン効果を生成します。このモデルは、学習時に大規模な画像とテキストのペアデータ + 特殊なテキスト編集データ (編集前/後のペア画像を含む) を使用します。
• テキストを意識した注意メカニズム: モデルは拡散プロセス中にテキスト領域の注意バイアスを導入します。推論中、モデルは非編集領域の特性を変更せずに、ユーザー指定の編集領域のピクセルの一貫性により多くの注意を払います。これにより、編集境界での「拡散漏れ」(編集領域外のピクセルが誤って変更される) の問題が解消されます。
• 遠近法と幾何学的な適応: 正面から撮影されていない斜めのテキスト (製品パッケージの遠近法テキストなど) の場合、モデルはテキスト領域の幾何学的な変換パラメーター (回転、スケーリング、遠近法マトリックス) を自動的に検出し、ターゲット テキストの生成時に同じ変換を適用するため、編集されたテキストは元の遠近角と視覚的に一致します。
• 条件付き制御入力: ユーザーはテキスト マスク (バイナリ マスク) を通じて編集領域を正確に指定するか、大まかな注釈に長方形のボックスを使用できます。マスクされた入力により、任意の形状の編集領域が可能になり、長方形のボックスはより便利な操作方法を提供します。
• トレーニング データ戦略: モデルは、合成データ + 実際のシーン データのハイブリッド トレーニング戦略を使用します。合成データは、モデルの汎用性を確保するために、フォント、背景、視点の多数の変更をカバーしています。実際のシーン データ (インターネットから収集されたテキストを含む実際の画像) により、実際の環境におけるモデルの汎化能力が向上します。

使い方

使い方	入口	説明書
グラデーションデモ	ハグフェイススペース	オンライン エクスペリエンス、ローカル展開は必要ありません (待機するためのキューがあります)
ローカル推論	GitHub リポジトリ	コードのクローンを作成 → 依存関係をインストール → 重みをダウンロード → 推論スクリプトを実行
論文を読む	arXiv	技術的な詳細と実験による評価を理解する
モデルの重み	顔を抱きしめる	ローカル推論用に事前トレーニングされた重みをダウンロード

一般的な使用プロセス (ローカル展開): 「」バッシュ git clone https://github.com/AMAP-ML/FluxText cdFluxText pip install -r 要件.txt python run.py --input image.jpg --maskマスク.png --target_text "新しいテキストコンテンツ" 「」

入力要件: テキストを含む元の画像 + 編集領域を識別するマスク画像 (または長方形の枠座標) + 対象のテキストの内容。出力: 編集された画像ファイル。

製品の価格設定

使用モデル	料金	説明
Gradioデモ（オンライン体験）	無料	研究デモ利用・利用制限・待機列
ローカル展開 (セルフホスト型)	$0 (ソフトウェア) + GPU コンピューティング電力コスト	ソフトウェアは無料でオープンソースであり、ハードウェアまたはクラウド GPU のコストのみが負担されます。
商用利用	オープンソースのライセンス条項に従う	商用シナリオにおけるライセンス タイプの制約を確認する

個人の研究者や AI 愛好家にとって、Gradio Demo は時折の画像テキスト編集のニーズを満たすことができますが、キューと同時実行の制限によって制限されます。運用環境でのバッチ使用にはローカル デプロイメントが推奨され、クラウド GPU レンタルのコストは 1 時間あたり約 0.5 ～ 2 ドルです (GPU モデルによって異なります)。

アプリケーションのシナリオ

• ポスターと広告画像の一括変更: マーケティング チームは、大規模なプロモーションの前後にポスターの日付、価格、イベント情報を頻繁に変更します。 FLUX-Text を使用してテキストをバッチで置換すると、PS でテキストを 1 つずつ手動で変更するよりも 10 ～ 50 倍効率的です。検証方法：一括修正の精度（文字の位置・大きさ・角度が元画像と一致している）と手動修正率を比較します。
• 製品画像の価格とパラメータの更新: 電子商取引運営チームは、製品のメイン画像の価格、プロモーション ラベル、仕様パラメータを定期的に更新します。 FLUX-Text は、背景やその他の視覚要素を変更せずに、指定した領域の価格番号を正確に置き換えることができます。検証方法：プラットフォーム上で編集された商品画像のクリック率やコンバージョン率が編集軌跡の影響を受けるかどうか。
• 絵文字とソーシャル メディア グラフィックの作成: コンテンツ作成者は、絵文字のテキスト吹き出しコンテンツを変更したり、スクリーンショットのダイアログ テキストを置き換えたりできます。検証方法：編集跡が目視で確認できるか。
• ドキュメントとスクリーンショットの感度を下げる: 内部ドキュメントのスクリーンショットを共有する前に、FLUX-Text を使用して機密情報 (名前、電話番号、電子メールなど) を消去します。これは手動モザイクよりも自然です。検証方法：消去部分の背景塗りつぶしの自然性を評価。
• 映画とゲームの字幕置換: フレームごとに処理する必要があるビデオ フレーム内のテキストを置換します (ゲーム UI の中国語を英語に置換するなど)。注: 現在のバージョンは単一画像編集用であり、ビデオ処理はフレームごとに実行する必要があります。

該当する人

群衆	適応値	前提条件
AI研究者	ベースライン比較として使用できるリサーチ シーン テキスト編集アルゴリズム	Python + PyTorch 環境
Eコマース運営・デザインチーム	商品画像やポスターテキストの一括修正	技術系の学生は、Gradio デモの導入または使用を支援する必要があります
コンテンツクリエイター	絵文字パックとソーシャル メディア グラフィックスとテキストの変更	軽い使用には Gradio Demo で十分です
データ非感作化チーム	文書のスクリーンショット内の機密情報の消去	大量のデータを処理するにはローカル展開が必要です。
群衆には適さない	理由
---	---
技術的な知識のない一般ユーザー	ネイティブの使用にはコマンドライン操作が必要です。
動画編集が必要なシーン	現在、単一の画像のみがサポートされており、ビデオはフレームごとに処理する必要があります。
フォントの復元に非常に高い要件を必要とするプロフェッショナルなデザイン	標準外フォントの復元度が不十分な場合があります

概要と展望

FLUX-Text は、シーン テキスト編集 (STE) の高度に専門化されたニッチ分野で高品質のオープン ソース ソリューションを提供します。その核となる価値は、「他の視覚要素に影響を与えることなく、画像内のテキスト コンテンツを正確に制御する」ことにあります。これまでは、プロのデザイナーがピクセルごとに手動で処理する必要があった (単一の画像に 15 ～ 60 分かかりました) か、画像全体を再描画することで間接的にのみ達成できましたが、制御できませんでした。 FLUX-Text は、編集結果のプロレベルのビジュアル品質を維持しながら、この操作に必要な時間を数秒に短縮します。

現在の制限事項: (1) モデル推論には GPU リソース (16GB 以上の VRAM を推奨) が必要であり、オープン ソースの「ゼロしきい値」の利点が弱まります。適切なハードウェアを持たないユーザーは、Gradio デモを通じて限られたエクスペリエンスしか得ることができません。 (2) 型破りなフォント (手書き、芸術的な書体、装飾フォント) に対するテキスト編集の効果は不安定です。これらのフォントに対するモデルのトレーニング データの範囲が不十分である可能性があります。 (3) 現在、単一画像処理のみをサポートしており、バッチ処理パイプラインやビデオ シーンのテキスト編集はサポートしていません。 (4) モデルによって出力されたテキストには、微妙な視覚的欠陥 (不連続なストロークや色のずれなど) がある場合があり、拡大して表示すると気づく場合があります。 購入/採用に関する提案: 電子商取引チームとマーケティング チームは、まず少数の実際の写真 (50 ～ 100 枚) でバッチ テストを実施し、編集品質が精度と視覚的な自然さに関するビジネス要件を満たしているかどうかを評価することを推奨します。研究チームは重みとコードを直接ダウンロードして、独自のデータセットを微調整できます。フォローアップの方向性には、モデル推論速度の最適化 (バッチ処理のサポート)、より多くの言語のサポート、他の画像編集機能との統合 (背景置換 + テキスト編集の組み合わせ操作など) が含まれます。

関連ツール: CrewAI、langchain

バージョン情報

• FLUX-Text 正式版 ：Gradio デモと事前トレーニングされた重みを開き、多言語シーン テキスト編集をサポートします。 （2025-07-04）
• 初期の研究バージョン ：シーンテキスト編集の実現可能性を検証するために、arXiv 論文と最初の推論コードをリリースします。 （2025-05-06）