深度学习&机器阅读之间分析

　　欢迎各位同学阅读本篇文章，随着机器学习的兴起，那么机器阅读会怎么样呢?那么机器学习&机器阅读之间的分析会是怎么样呢?编程学习网教育平台提醒您，要认真阅读本篇文章哦~机器阅读将是深度学习的下一个重大进展。

　　机器学习结构：

　　表示学习系统的基本结构。环境向系统的学习部分提供某些信息，学习部分利用这些信息修改知识库，以增进系统执行部分完成任务的效能，执行部分根据知识库完成任务，同时把获得的信息反馈给学习部分。在具体的应用中，环境，知识库和执行部分决定了具体的工作内容，学习部分所需要解决的问题完全由上述3部分确定。下面我们分别叙述这3部分对设计学习系统的影响。

　　影响学习系统设计的最重要的因素是环境向系统提供的信息。或者更具体地说是信息的质量。知识库里存放的是指导执行部分动作的一般原则，但环境向学习系统提供的信息却是各种各样的。

　　如果信息的质量比较高，与一般原则的差别比较小，则学习部分比较容易处理。如果向学习系统提供的是杂乱无章的指导执行具体动作的具体信息，则学习系统需要在获得足够数据之后，删除不必要的细节，进行总结推广，形成指导动作的一般原则，放入知识库，这样学习部分的任务就比较繁重，设计起来也较为困难。

　　因为学习系统获得的信息往往是不完全的，所以学习系统所进行的推理并不完全是可靠的，它总结出来的规则可能正确，也可能不正确。这要通过执行效果加以检验。正确的规则能使系统的效能提高，应予保留;不正确的规则应予修改或从数据库中删除。

　　知识库是影响学习系统设计的第二个因素。知识的表示有多种形式，比如特征向量、一阶逻辑语句、产生式规则、语义网络和框架等等。这些表示方式各有其特点，在选择表示方式时要兼顾以下4个方面：

　　(1)表达能力强。

　　(2)易于推理。

　　(3)容易修改知识库。

　　(4)知识表示易于扩展。

　　对于知识库最后需要说明的一个问题是学习系统不能在全然没有任何知识的情况下凭空获取知识，每一个学习系统都要求具有某些知识理解环境提供的信息，分析比较，做出假设，检验并修改这些假设。因此，更确切地说，学习系统是对现有知识的扩展和改进。

　　执行部分是整个学习系统的核心，因为执行部分的动作就是学习部分力求改进的动作。同执行部分有关的问题有3个：复杂性、反馈和透明性。

　　回顾2016年，深度学习在应用领域取得了三个重大进展。

　　1. Google DeepMind 的 AlphaGo，战胜了人类顶级围棋高手。

　　2. Google Translate 上线，达到了与人类媲美的精度。

　　3. Tesla 的 AutoPilot 投入使用，让自动导航成为大众使用的日常工具。

　　展望2017年，深度学习在应用领域将会有新的突破，其中一大看点，就是机器阅读。

　　书籍是人类文明的主要传承工具。让机器掌握自动阅读的能力，将会颠覆性地降低知识传承和使用的难度。

　　机器阅读之所以可能在2017年取得突破性进展，原因是机器翻译的工作原理，可以拓展到机器阅读领域。

　　文本摘要的研究，在2016年取得的进展，已经昭示了机器阅读的前进方向。

　　所谓文本摘要，就是把整篇文章，输入给电脑，电脑自动输出文章的中心思想。

　　文本摘要的工作原理，与机器翻译的工作原理，一脉相承。

　　机器翻译的原理，编码及解码

　　机器翻译的工作原理，说来简单，先编码，后解码 [1]。

　　编码的任务，是把输入的文章，转换成一连串数字向量，数字向量包含文章每一词的语义和语法信息，如同基因DNA。

　　解码的任务，是把数字向量，逐个转换成其它语言的词语，完成翻译。

　　任务明确后，接下去谈如何实现。

　　如何提炼文章中每一个词的语义信息?机器翻译用了两个办法，

　　1. 词向量，词向量包含这一个词的语义信息。词向量的实现方式，用的是神经网络与语言模型的组合，稍后介绍。

　　2. 语义向量，语义向量包含了从文章开头到当前词的主要语义，也包含了从当前词到文章末尾的主要语义，所以语义向量又称为前后文向量。语义向量的实现方式，用的是 LSTM 的隐状态，稍后介绍。

　　除了语义信息，编码是否需要容纳语法和统计信息?

　　文本摘要的研究者们，提议在编码中也容纳语法词性标注(POS tagging)、实体标注(NER)、信息挖掘统计值(TF-IDF)等等信息 [2]。

　　悬念是，还有哪些其它有用的信息，也应该被容纳进编码中?

　　更大的悬念是，如何提高编码的正确性，精准地全面地表达原文的语义和语法信息?

　　编码的实现原理

　　编码的实现，依赖于词向量和语义向量。

　　词向量的实现方式，用的是神经网络与语言模型的组合 [3]。

　　先说语言模型(Language Model)，语言模型的任务，是根据前文，预测下一个词，最可能是什么?

　　有时候听众会打断对方的发言，说，“你不用再说了，你下面想说什么，我已经猜到了”。这样的听众，脑子里拥有出色的语言模型。

　　人类语言有缺陷，“版图” 与 “疆界”，无一字相同，但是语义相同。

　　语言模型把每一个人类词汇，对应到一个词向量。词向量是数字向量，数字向量的好处在于，容易计算数字向量之间的距离。同义词的词向量之间的距离为零，近义词的词向量之间的距离较短。

　　人类词汇，有一词多义的情况。词向量的技术难题，在于如何给多义词配置多个词向量。

　　[3] 用神经网络，来根据前文，预测下一个出现的词。

　　所谓预测，其实是估算词库中所有词汇，哪一个词汇在下一个出现的概率最大。神经网络发挥的作用，是概率模拟器。

　　预测很准的时候，神经网络中的诸多参数就不需要调整。预测不准的时候，就调整这些参数，提高后续预测的精准度。这就是语言模型训练的过程。

　　因为要估算词库中所有词出现的概率，所以训练语言模型的计算量，往往大得惊人。

　　解决的办法，是尽可能缩小候选词汇的数量。办法很多，譬如 beam search。

　　语义向量的实现，依赖 LSTM(Long Short Term Memory)。LSTM 也是一种神经网络，特色有二 [4]。

　　1. 循环：神经网络前一次的输出，将作为同一个神经网络下一次的输入。所以，LSTM 是处理序列的利器，语句就是序列的一种，序列的例子还包括，股票价格波动，心电图脑电图，音频视频等等。

　　2. 遗忘：语句中每个词汇的重要性不同，记住重要的词汇，忘记冗词。人类记忆有限，听演讲往往要做笔记，记住要点。电脑的记忆无限，但是也要取舍，避免噪音淹没了要点。

　　人类听演讲时，把要点写在笔记本里。LSTM 处理序列时，把要点存储在隐状态里。

　　隐状态(Hidden State)也是数字向量，隐状态数字向量的维度，往往比词向量的维度高。就像笔记本里能够写下很多词汇。

　　但是隐状态向量并非词向量的简单积累。隐状态向量是前后文词向量的剪接，如同基因剪接一样。

　　LSTM 的隐状态向量，胜任前后文语义向量的职能。但是隐状态向量的软肋，在于含义晦涩，如同基因不易读解。

　　好的隐状态向量，容易识别。如果用 Autoencoder [5] 把隐状态向量复原成原文，复原后的原文，与真正的原文越相近，说明隐状态向量的质量越好。

　　但是坏的隐状态向量，坏在哪里，很难甄别。因为，隐状态向量的含义晦涩难懂。这是需要研究解决的难题。

　　除了提炼前后文语义，LSTM 还可以做很多事情，譬如给文章中每个词汇标注词性，识别文章中地址名称等等词组。

　　作为神经网络的一种，LSTM 也需要训练，训练就需要语料。不同的任务，譬如词性标注，词组识别，需要不同的训练语料。

　　获得大量语料，也是难题。譬如有人提议，收集文章及其标题，作为文本摘要的训练语料。但是遇到标题党，这个办法就失效。

　　解码的实现原理

　　解码的理想境界，与翻译的理想境界相似，

　　1. “信”：语义要正确，不要曲解。

　　2. “达”：措辞要恰当，即便语义相同，如果措辞不同，那么语气迥异。

　　3. “雅”：行文要流畅。

　　解码器的实现原理，与词向量的实现原理相似，依赖语言模型，根据前文，预测下一个词，最可能是词库中的哪一个词汇?

　　不要忘记，估算词库中所有词出现的概率，计算量往往大得惊人。

　　要达到“信”的境界，对于机器翻译而言，难度较低，因为翻译基本上是逐个词汇一对一翻译。

　　对于文本摘要而言，“信”的难度较高。如何摘录重点?人类做摘要，往往摘录论点，不摘录论据，往往摘录故事结局，不摘录故事过程。

　　如何让电脑辨别论点与论据，结局与过程?这是需要研究的难题。

　　所以，对于机器翻译而言，解码器的输入，只需要原文中的词向量和语义向量，就可以翻译得相当精准。

　　但是，对于文本摘要而已，除了词向量和语义向量，还需要词性标注、词组识别、TF-IDF，信息越丰富，摘要越简洁。

　　简单暴力的办法，是摘录原文中每个段落的起首一两句，遇到两个段落的起首句的语义相同，就忽略其中一个。

　　要达到“达”的境界，对于机器翻译而言，难度较高，每种语言都有同义词，但是同义词之间的语气差别，往往难以界定。

　　对于文本摘要而言，“达”的难度较低，简单粗暴但是行之有效的办法，是直接引用原文中的词汇。

　　引用原文词汇，还有一个好处，是大大降低了计算量。说得学术点，这叫 LVT，Large Vocabulary Tricks [6]。

　　麻烦在于，原文中出现的词汇很多，下一个词应该引用原文中的哪一个词汇?

　　解决办法是先用语言模型，根据当前的词向量、语义向量，预测下一个词的词向量。然后再去原文中，寻找最贴切的词汇。

　　寻找的办法，说得学术点，叫 Attention [1]。

　　大意是根据原文中每一个词汇本身的语义、语法词性、词组标注、TF-IDF 统计信息，以及前后文的语义等等尽可能多的信息，评估原文中的每一个词汇，与下一个词的词向量的相关性。

　　但是 Attention 的办法，也会导致巨大的计算量。[2] 提议了一个减少计算量的办法，先评估每个语句的相关性，找到相关语句后，再评估这个语句中每个词汇的相关性。

　　要达到“雅”的境界，无论机器翻译还是文本摘要，都必须做到下一个词的选择，必须与前文词汇保持流畅。

　　对于文本摘要而言，下一个词的选择，不能全部选用原文中词汇。实现方式有两个要素。

　　1. 预先从训练语料中，构建摘要的词库。

　　2. 实现一个开关函数，决定从词库中选词，还是从原文词汇中摘录。

　　开关函数可以用 sigmoid 函数，输入有三项，前文的词汇、预测出的下一个词的词向量、Attention 找到的原文中最贴切的词汇。

　　未来有待解决的问题

　　除了进一步降低语言模型的计算量，除了识别原文中各个语句及词汇的重要性，未来最大的挑战，可能是如何引用外援知识。

　　人类阅读的时候，经常需要查字典，查参考文献。

　　引用外援知识的目的，是扩大读者现有的知识结构，消除现有知识结构与文章内容之间的落差。

　　阅读结束后，进一步扩大现有知识结构。这就是人类通过阅读，不断学习知识的过程。

　　知识结构的表达方式有多种，“一图胜千言”，自然语言似乎不是最高效的表达方式。

　　知识图谱由点和边组成，点表达概念，边表达一个概念与另一个概念之间的关系。

　　譬如 “发烧” 和 “炎症” 是两个概念，在知识图谱中用两个点来表达。“炎症”导致“发烧”，在知识图谱中用有向边来表达。

　　当阅读一篇文章时，如果文章中出现的概念，没有出现在现有知识图谱中，那么阅读就会出现困难，这就是知识的落差。

　　消除知识落差的办法，是查字典，查参考文献，扩大阅读，直到文章中出现的新概念，与现有知识图谱相连接。

　　如何把文章转换为知识图谱?不妨沿用机器翻译和文本摘要的工作原理，把文章从自然语言，转换成知识图谱。

　　换而言之，机器阅读其实就是自然文本的结构化。

　　小结：相信最后大家阅读完毕本篇文章，肯定学到了不少知识吧?其实大家私下还得多多自学，当然如果大家还想了解更多方面的详细内容的话呢，不妨关注编程学习网教育平台，在这个学习知识的天堂中，您肯定会有意想不到的收获的!