|
|
|
|
公众号矩阵

微软开源的 AI 工具,让旧照片焕发新生

在 GitHub 热点趋势Vol.046 中,HG 介绍过一个微软开源的 AI 工具——Bringing-Old-Photos-Back-to-Life

作者:Ziyu Wan来源:HelloGitHub|2020-11-25 10:34

写在前面

在 GitHub 热点趋势Vol.046 中,HG 介绍过一个微软开源的 AI  工具——Bringing-Old-Photos-Back-to-Life

它可以让破损、残旧的图片焕发新生,在本周更是获得近 3k star。 而本文则是项目团队成员 Ziyu Wan 发布于 Hacker News 的项目介绍,Enjoy it~

概述

我们打算通过深度学习的方法来修复老化严重的旧照片。与传统的监督式学习 supervised learning 的修复任务不同,真实照片的老化更为复杂,合成图像和真实旧照片之间的领域差距 domain gap 使得网络无法泛化。因此,我们提出了一种利用真实照片和大量合成图像对的新型三重域翻译网络。具体来说,我们训练了两个变分自编码器 (VAE),分别将旧照片和干净照片转换为两个潜在空间。 通过合成配对数据来学习两个潜在空间之间的转换。因为在紧凑的潜在空间中,domain gap 是封闭的,所以这种翻译网络可以很好地泛化为真实照片。

此外,为了解决混杂在旧照片中的多个退化问题,我们设计了一个带有 partial nonlocal block 的全局分支,用于处理结构性缺陷,如:划痕、尘点,和一个局部分支,用于处理非结构性缺陷,如:噪点、模糊。两个分支在潜在空间融合,提高从多个退化问题中恢复旧照片的能力。该方法在相片修复的视觉质量方面优于现有的方法。

架构全览

  1. 我们首先训练两个变分自编码器 VAE:VAE1 用于真实照片 r ∈ R 和合成图像 x ∈ X,通过联合训练一个对抗判别器缩小它们的 domain gap;对干净图像 y ∈ Y 进行 VAE2 训练。利用 VAE 将图像转换到紧凑的潜在空间。

  2. 我们了解了在紧凑潜在空间将损坏的图像恢复到带 partial non-local block 的干净照片的映射。

对比图

更多修复细节

近距离围观

团队成员 Ziyu Wan 对 Bringing-Old-Photos-Back-to-Life 的介绍已经翻译完毕,感兴趣的小伙伴可以去把玩下,项目地址:

  1. https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life 

【编辑推荐】

  1. SaaS优化:网络管理员需要了解什么
  2. 微软开始阻止用户继续使用IE浏览器
  3. Golang GinWeb框架2-文件上传/程序panic崩溃后自定义处理方式
  4. 数据分析中很实用的工具,赶紧收藏起来
  5. 罗马尼亚恶意软件服务运营商被捕:提供恶意服务,可绕路网络安全软件
【责任编辑:张燕妮 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢
24H热文
一周话题
本月获赞

订阅专栏+更多

云原生架构实践

云原生架构实践

新技术引领移动互联网进入急速赛道
共3章 | KaliArch

29人订阅学习

数据中心和VPDN网络建设案例

数据中心和VPDN网络建设案例

漫画+案例
共20章 | 捷哥CCIE

193人订阅学习

搭建数据中心实验Lab

搭建数据中心实验Lab

实验平台Datacenter
共5章 | ITGO(老曾)

119人订阅学习

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO官微