在数字艺术与图像处理领域，用户常常面临一个挑战：如何在不损失原图精髓的前提下，实现特定区域的风格转换？近日，香港大学的研究团队给出了一个令人眼前一亮的答案——他们研发了一种名为MimicBrush的新型图像编辑技术，该技术允许用户通过上传参考图片，轻松实现原图局部的风格重绘。
MimicBrush技术的创新之处在于其零参考图像编辑的方式。传统的图像编辑方法往往要求用户详细描述编辑后的期望效果，但这对大多数用户来说是一个不小的挑战。而MimicBrush则打破了这一限制，用户只需指定待编辑的区域，并提供一张参考图片，系统便能自动理解参考图片的风格，并据此完成编辑任务。
具体来说，用户在使用MimicBrush时，只需输入要修改的图片和参考图，并在图片中圈出要改的地方。随后，MimicBrush会按照参考图的风格对指定区域进行修改，实现原图局部的风格重绘。这一过程无需用户过多描述编辑效果，大大简化了编辑流程。
为了实现这一功能，研究团队提出了MimicBrush模型。该模型采用自监督学习的方式，从视频片段中随机选择两帧图像，对其中一帧进行部分遮盖，然后学习从另一帧图像中恢复被遮盖的区域。通过这种方式，模型能够自动捕捉图像之间的语义对应关系，为实现风格重绘提供了有力的技术支持。
实验结果表明，MimicBrush技术在各种测试案例下均表现出了良好的有效性和优越性。与现有的替代方案相比，MimicBrush具有更高的编辑准确度和效率，为用户带来了更为便捷的图像编辑体验。
除了基本的风格重绘功能外，MimicBrush还具备一系列特色功能，进一步丰富了用户的编辑选择。首先，它支持零拍摄图像编辑，允许用户在没有原始目标图像的情况下进行图像编辑，通过参考仿制的方式实现编辑效果。其次，MimicBrush还具备参考仿制功能，用户可以使用参考图像来指导编辑过程，实现所需的图像编辑效果。此外，该技术还利用CLIP编码器和VAE实现了文本到图像的对齐功能，用户可以通过输入文本描述来指导编辑过程。最后，MimicBrush还提供了纹理转移功能，使用户能够在编辑过程中保持原始形状或进行形状转移。
“AI旋风认为，MimicBrush技术的出现将极大地推动图像编辑领域的发展。它不仅为用户提供了更为便捷、高效的编辑方式，还通过引入零参考图像编辑和多种特色功能，为用户带来了更为丰富的编辑选择。未来，随着技术的不断发展和完善，我们有理由相信，MimicBrush将在数字艺术与图像处理领域发挥更为重要的作用。”
此外，为了促进进一步的研究和发展，研究团队还构建了一个基准测试集，以便更好地评估和比较其他相关技术的表现。这一举措将为图像编辑领域的研究人员提供一个公平、客观的评估平台，推动整个领域的不断进步。
相关文章
