11 月 11 日,字节在豆包大模子团队官网上公布最新通用图像裁剪模子 SeedEdit。SeedEdit 支柱一句话轻易改图,包括修图、换装、好意思化、转机气派、在指定区域添加删除元素等各种裁剪操作开云kaiyun官方网站,通过浅易的当然讲话即可起先模子裁剪任意图像。
当今,该模子依然在豆包 PC 端及即梦网页端开启测试。用户不错在豆包生成图片后,点击链接裁剪按钮,输入浅易的文本教导对图片布景或主体进行轻易转变,收场一句话改图。举例,用户在生成一张"小狗在草地奔走"的图片后,不错平直输入"布景换成海边"等教导,获取一张基于原图片的微调图。
此外,用户也不错尝试在豆包 PC 或即梦的图像生生遵循中自行上传参考图并进行二次加工。
SeedEdit 是国内首个收场产物化的通用图像裁剪模子。过往,学术界在文生图和图生图限制已有较多盘问,但作念好生成图片的教导裁剪一直是繁重,二次修改很难保证闪现性和生成质地。本年以来,Dalle3、Midjourney 接连推分娩物化的生图裁剪功能,相较业界此前线案,裁剪生成图片的质地大大改善,但仍虚浮对用户裁剪教导的精确反应和原图信息保握技艺。
字节超过豆包大模子团队默示:图像裁剪任务的要津在于取得「守护原始图像」和「生成新图像」之间的最优均衡,这一理念王人集了总计模子的假想与优化历程。
据先容,在模子数据生产中, SeedEdit 针对数据稀缺问题, 再行假想模子架构,而况经受多模子,多设施,和多圭表的数据制造决策很猛进程上处分了数据量,数据各样性和数据质地的问题。看成一款专为图像裁剪任务假想的模子,SeedEdit 在通用性、可控性、高质地等方面取得了一定破裂。
此前业界时代主要针对单个众人任务进行优化,比如针对热情、发型、布景的删除或替换,或畸形设立责任流进行风气派配,每次出现新的裁剪任务均需累积对应数据进行测验诞生。而 SeedEdit 看成通用的图像裁剪模子,适用各种裁剪任务,支柱用户脑洞打开的奇想妙想,无需再测验微调即可快捷欺诈。 它与业界同类要领对比 ( 如 EMU Edit 和 Ultra Edit ) ,取得权贵更优的性能野心。
(HQ-Edit 等基准测评流露:SeedEdit 能流畅相对否认的教导,且实行良好裁剪时具有更高的图像保握率和生效率)
即便在老例任务中,比拟众人模子,SeedEdit 也有一定上风。比如,在"抠图"换布景等用户最常用到的图像分割任务中,SeedEdit 裁剪生成后的图像气派当然,无"贴图感";在局部涂抹、裁剪、添加和删除元素等任务中,比拟手动涂抹裁剪, SeedEdit 通过讲话指定, 大大节俭了用户涂抹的时刻,尤其针对裂纹、发丝等相对精细的涂抹区域。
(条目图片将草莓替换成柠檬)
同期,SeedEdit 通过编削的模子架构,多设施、多法规的数据获取、构造和过滤决策,能更好地流畅用户意图并对王人 diffusion 生图模子,极大提高了图像裁剪的精确度,并保握了高质地的图片生成效率。
(条目去掉裂纹,让图片变干净)
基于豆包文生图大模子,当今 SeedEdit 支柱汉文和英文输入,还不错对汉文谚语和特驰名词进行精确反应。下一步,SeedEdit 还将绽放多轮复杂裁剪的功能。
豆包大模子团队默示,现阶段 SeedEdit 对模子生成图片的裁剪效率要好于输入果真图片,同期在更复杂和更精细的截止上仍有改革空间。将来,SeedEdit 会在果真图片保真、ID 保握、裁剪精确性、以及万古序的故事类、漫画类生成方面作念进一步的优化和探索,进步裁剪可用率和用户体验,支柱用户更高效地创作意旨的实质。
雷峰网开云kaiyun官方网站