一招教你使用 tf.keras 和 eager execution 解决复杂问题

生成模型和序列模型总是令我着迷:它们提出的问题与我们初学机器学习时常遇到的问题不同。刚开始学习 ML 时,和很多人一样,我学的是分类和回归。这些可以帮助我们提出并回答以下问题:

10年积累的成都做网站、成都网站建设经验,可以快速应对客户对网站的新想法和需求。提供各种问题对应的解决方案。让选择我们的客户得到更好、更有力的网络服务。我虽然不认识你,你也不认识我。但先制作网站后付款的网站建设流程,更有鼎城免费网站建设让你可以放心的选择与我们合作。

  • 图片里是猫还是狗?(分类)
  • 明天有多大概率会下雨?(回归)

分类和回归是非常值得掌握的技能,并且几乎可以***将这两者用于现实问题。但是,我们可能会提出其它类型的问题,这些问题与之前的十分不同。

  • 能作诗吗?(文本生成)
  • 能生成一张猫的图片吗?(生成对抗网络)
  • 能翻译句子吗?(神经网络机器翻译)
  • 能根据图片生成标题吗?(图片标注)

在暑期实习期间,我使用 TensorFlow 的两个*** API(tf.keras 和 eager execution)开发了这些示例,以下是分享内容。希望你们能觉得它们有用,有趣!

  • Eager execution 是一个由运行定义的命令式接口,一旦从 Python 调用,其操作将被立即执行。这使得入门 TensorFlow 变得更简单,也使研发更直观。
  • tf.keras 是一个高级 API,用于定义具有类似乐高积木的模型。我使用模型子类化(Model subclassing)实现了这些示例,它允许我们通过子类化 tf.keras 模型和定义自己的前向传播来建立完全可定制的模型。当启用 eager execution 时,模型子类化特别有用,因为前向传播可以被命令式地编写。

如果你还不了解这些 API,可以通过 tensorflow.org/tutorials 上的 notebook 来了解更多信息,其中包含最近更新的示例。

以下每个示例都是端到端的,并遵循类似的模式:

  • 自动下载训练数据。
  • 预处理训练数据,并创建 tf.data 数据集以便在输入管道中使用。
  • 使用 tf.keras 模型子类化 API 定义模型。
  • 使用 eager execution 训练模型。
  • 演示如何使用训练好的模型。

示例#1:文本生成

***个示例是文本生成,我们用 RNN 生成与莎士比亚风格类似的文本。你可以通过下面的链接在 Colaboratory 上运行它(或者从 GitHub 下载它当做 Jupyter notebook)。代码在 notebook 中有详细解释。

示例 1 notebook:

https://colab.research.google.com/github/tensorflow/tensorflow/blob/master/tensorflow/contrib/eager/python/examples/generative_examples/text_generation.ipynb

鉴于莎士比亚著作颇丰,这个例子学会了生成与莎翁风格相似的文本:

在莎士比亚文集训练 30 个 epoch 后,notebook 生成的示例文本。

虽然大部分句子都没有意义(因为这个简单的模型还没有学会语言的含义),但令人印象深刻的是,大多数单词拼写正确,并且它生成的剧本结构看起来与原始剧本的结构相似。(这是一个基于字符的模型,我们训练它的时间不长——但它已经成功地从零开始学会了这两件事)。只要你想,更改一行代码就可以更改数据集。)

想要更进一步了解 RNN,可以去看 Andrej Karpathy 的优秀文章——《The Unreasonable Effectiveness of Recurrent Neural Networks》。如果你想了解更多关于用 Keras 或 tf·Keras 实现 RNN 的信息,我们推荐 Francois Chollet 的 notebook。

Francois Chollet 的 notebook:https://github.com/fchollet/deep-learning-with-python-notebooks

示例 #2:DCGAN

在这个示例中,我们用 DCGAN 生成手写数字。生成对抗网络(GAN)由生成器和判别器组成。生成器的工作是生成逼真的图像,以欺骗判别器。判别器的工作是在真图像和伪图像(由生成器生成)之间进行分类。下面看到的输出是在使用《Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks》一文中所述的网络架构和超参数训练生成器和判别器 150 个 epoch 之后生成的。

示例 2 notebook:

https://colab.research.google.com/github/tensorflow/tensorflow/blob/master/tensorflow/contrib/eager/python/examples/generative_examples/dcgan.ipynb

在 150 个 epoch 中每 10 个 epoch 生成一次图像的 GIF。你可以在 notebook 中找到生成这种 GIF 的代码。

示例#3:注意力神经网络机器翻译

这个示例训练模型将西班牙语句子翻译成英语句子。模型训练好后,你可以输入西班牙语,例如「¿todavia estan en casa?」,并返回英文翻译:「are you still at home?」

下图是注意力图。它显示了翻译时,输入句子的哪些部分会引起模型的注意。例如,当模型翻译「cold」这个词时,它正看着「mucho」,「frio」,「aqui」。我们使用 tf.keras 和 eager execution 从零开始实现 Bahdanau Attention,详细解释在 notebook 中。你还可以将此实现用作实现自定义模型的基础。

示例 3 notebook:

https://colab.research.google.com/github/tensorflow/tensorflow/blob/master/tensorflow/contrib/eager/python/examples/nmt_with_attention/nmt_with_attention.ipynb

上述翻译的注意力图。

示例 #4:注意力图像标注

在此示例中,我们训练模型用以预测图像的标题。我们还生成了一个注意力图,它显示了模型在生成标题时所关注的图像部分。例如,当模型预测单词「冲浪板」时,它会聚焦在图片中的冲浪板附近。我们使用 MS-COCO 数据集的子集训练该模型,该数据集将由 notebook 自动下载。

示例 4 notebook:

https://colab.research.google.com/github/tensorflow/tensorflow/blob/master/tensorflow/contrib/eager/python/examples/generative_examples/image_captioning_with_attention.ipynb

图像的预测标题。

上图中每个单词的注意力图。

文章标题:一招教你使用 tf.keras 和 eager execution 解决复杂问题
网站路径:http://www.gawzjz.com/qtweb/news0/171300.html

网站建设、网络推广公司-创新互联,是专注品牌与效果的网站制作,网络营销seo公司;服务项目有等

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联