黑森林实验室发布 FLUX.1 工具包FLUX.1 Tools,提升了 FLUX.1模型的控制性和可操控性

今天,我们很高兴发布FLUX.1 Tools,这是一个旨在为我们的基础文本到图像模型 FLUX.1 增加控制和可操控性的模型套件,使得对真实和生成图像的修改和重建成为可能。在发布时,FLUX.1 Tools包含四个独特的功能,这些功能将作为开放访问模型在 FLUX.1 [dev]模型系列中提供,并在补充 FLUX.1 [pro]的 BFL API 中提供:

  • FLUX.1 填充:最先进的修复和扩展模型,能够根据文本描述和二进制掩码编辑和扩展真实和生成的图像。
  • FLUX.1 深度:模型经过训练,以便根据从输入图像和文本提示中提取的深度图进行结构指导。
  • FLUX.1 Canny: 基于从输入图像和文本提示中提取的 Canny 边缘训练的模型,以实现结构指导。
  • FLUX.1 Redux: 一个允许混合和重建输入图像和文本提示的适配器。

此次发布强化了我们的双重承诺:为研究社区提供尖端的开放权重模型,同时通过我们的 API 提供最佳的能力。我们将 BFL API 中的每个工具发布为 FLUX.1 [pro] 变体,并提供推理代码和权重作为指导提炼的开放访问 FLUX.1 [dev] 变体。此外,我们很高兴我们的发布模型将通过我们的合作伙伴 fal.aiReplicateTogether.aiFreepik 和 krea.ai 提供。

以下部分包含有关新模型的详细信息、对其性能的分析以及如何访问它们。我们很高兴看到充满活力的 Flux 生态系统将如何通过我们的新工具得到补充。

Inpainting and Outpainting with FLUX.1 Fill
使用 FLUX.1 进行修复和扩展

FLUX.1 Fill 引入了先进的 修复 功能,超越了现有的工具,如 Ideogram 2.0 和流行的开源变体,如 AlimamaCreative 的 FLUX-Controlnet-Inpainting。它允许与现有图像自然融合的无缝编辑。

黑森林实验室发布 FLUX.1 工具包FLUX.1 Tools,提升了 FLUX.1模型的控制性和可操控性


此外,FLUX.1 Fill 支持 外绘,使用户能够将图像扩展到其原始边界之外。

黑森林实验室发布 FLUX.1 工具包FLUX.1 Tools,提升了 FLUX.1模型的控制性和可操控性


我们进行了一项基准测试,公开可用的在这里。结果显示,Flux.1 Fill [pro] 超过了所有其他竞争方法,成为迄今为止最先进的修复模型。其次是 Flux.1 Fill [dev],在推理时超越了专有解决方案,同时更高效。

黑森林实验室发布 FLUX.1 工具包FLUX.1 Tools,提升了 FLUX.1模型的控制性和可操控性

Flux.1 Fill [dev] 可在 Flux 开发许可证下使用,带有

  • Hugging Face 上提供完整模型权重:[填充]
  • 推理代码可在 GitHub 上获取

Flux.1 填充 [pro] 可在 [BFL API ] 中获得

Structural Conditioning with FLUX.1 Canny / Depth
结构调节与 FLUX.1 Canny / Depth
结构条件使用聪明的边缘或深度检测在图像变换过程中保持精确控制。通过保留原始图像的结构,用户可以在保持核心构图完整的同时进行文本引导的编辑。这对于重新纹理化图像特别有效。

黑森林实验室发布 FLUX.1 工具包FLUX.1 Tools,提升了 FLUX.1模型的控制性和可操控性
黑森林实验室发布 FLUX.1 工具包FLUX.1 Tools,提升了 FLUX.1模型的控制性和可操控性


在我们的评估中,基准可用在这里FLUX.1 Depth的表现优于像Midjourney ReTexture这样的专有模型。特别是,FLUX.1 Depth [pro]提供了更高的输出多样性,而FLUX.1 Depth的开发版本在深度感知任务中提供了更一致的结果。对于 Canny 边缘模型,基准在这里FLUX.1 Canny [pro]是同类中最优秀的,其次是FLUX.1 Canny [dev]


FLUX.1 Canny / Depth 有两个版本:用于最大性能的完整模型和基于 FLUX.1 [dev] 的 LoRA 版本,便于开发。

Flux Depth / Canny [dev] are available under the Flux Dev License with
Flux Depth / Canny [dev] 在 Flux Dev 许可证下可用,

Flux.1 Depth / Canny [pro] are available in the BFL API.
Flux.1 深度 / Canny [pro] 可在 BFL API. 中获得。

Image Variation and Restyling with FLUX.1 Redux
图像变体和重新设计 与 FLUX.1 Redux


FLUX.1 Redux 是一个适配器,用于所有 FLUX.1 基础模型的图像变体生成。给定一张输入图像,FLUX.1 Redux 可以以轻微的变化再现该图像,从而允许对给定图像进行细化。

黑森林实验室发布 FLUX.1 工具包FLUX.1 Tools,提升了 FLUX.1模型的控制性和可操控性


它自然地融入更复杂的工作流程,通过提示解锁图像重塑。重塑功能可以通过我们的 API 实现,只需提供一张图像和一个提示。该功能在我们最新的模型FLUX1.1 [pro] Ultra中得到支持,允许将输入图像和文本提示结合起来,创建高质量的 4 百万像素输出,具有灵活的纵横比。

黑森林实验室发布 FLUX.1 工具包FLUX.1 Tools,提升了 FLUX.1模型的控制性和可操控性


我们的基准测试表明,FLUX.1 Redux 在图像变化方面达到了最先进的性能。

黑森林实验室发布 FLUX.1 工具包FLUX.1 Tools,提升了 FLUX.1模型的控制性和可操控性

 

Flux.1 Redux [dev] 可在 Flux 开发许可证下获得

  • Hugging Face 上可用的模型权重:[Redux]
  • 推理代码可在 GitHub 上获取

Flux.1 Redux 支持 FLUX1.1 [pro] Ultra 可在 BFL API. 中获得。我们很高兴看到社区将使用我们的新工具集构建什么。请在 [api.bfl.ml] 尝试我们的 API。

© 版权声明

相关文章

暂无评论

暂无评论...