当应用机械进修办法来解决问题的时刻，拥有合适的数据是异常关键的。不幸的是，平日情况下的原始数据是「不干净」的，并且长短构造化的。天然说话处收成NLP）的大年夜颐魅者深谙此道，因为他们所用的数据都是文本的。因为大年夜多半机械进修算法不接收原始的字符串作为输入，所以在输入到进修算法之前要应用词嵌入的办法来对数据进行转换。但这不仅仅存在于文本数据的场景，它也可以或许以分类特点的情势存在于其他标准的非天然说话处理义务中。事实上，我们很多人都在苦苦研究这种分类特点过程，那么词嵌入办法在这种场景中有什么感化呢？
这篇文┞仿的目标是展示我们若何可以或许应用一种词嵌入办法，Word2Vec（2013，Mikolov 等），来把一个具有大年夜量模态的分类特点转换为一组较小的易于应用的数字特点。这些特点不仅易于应用，并且可以或许成功进修到若干个模态之间的关系，这种关系与经典词嵌入处理说话的方法很类似。
Word2Vec
不雅其伴，知其意。（Firth, J. R. 1957.11）
上述内容精确地描述了 Word2Vec 的目标：它测验测验经由过程分析一个词典邻词（也称作语境）来肯定该词典含义。这个办法有两种不合风格的模型：CBOW 模型和 Skip-Gram 模型。在给定语料库的情况下，模型在每个语句的词上轮回，要么根据当前单词来猜测其邻词（语境），要么根据当前的语境来猜测当前的词，前者所描述的办法被称作「Skip-Gram」，后者被称作「持续性词包，continuous bag of words（CBOW）」。每个语境中单词数量标极限是由一个叫做「窗大年夜小，Window Size」的参数来决定的。
是以，如不雅钠揭捉?择了 Skip-Gram 办法，Word2Vec 就会应用一个浅层的神经收集，也就是说，用一个只具有一个隐蔽层的神经收集来进修词嵌入。收集起首会随机地初始化它的权重，然后应用单词来猜测它的语境，在最小化它所犯缺点的练习过程中去迭代调剂这些权重。有望在一个比较成功的练习过程之后，可以或许经由过程收集权重矩阵和单词典 one-hot 向量的乘积来获得每一个单词典词向量。
留意：除了可以或许许可将文本数据进行数字表征之外，结不雅性嵌入还进修到了单词之间的而一些有趣的关系，可以被用来答复类似于下面的┞封种问题：国王之于王后，正如父亲之于......?
我们在 Kwyk 平台上（https://www.kwyk.fr/）上供给在线的数学演习。师长教师给他们的学生安排功课，每次演习完成的时刻都邑有一些数据被存储下来。然后，我们应用收集到的数据来评价每个学生的程度，并且给他们量身制造对应的复习来赞助他们进步。对于每一个被解答的演习功课，我们都保存了一系列的标识符来赞助我们区分以下信息：这是什么演习？作答的学生是谁？属于哪一个章节？....... 除此之外，我们还会根据学生是否成功地解答了这个标题来保存一个分数，要么是 0，要么是 1。然后，为了评价学生的分数，我们必须猜测这个分数，并且大年夜我们的分类器中获灯揭捉?生成功的概率。
正如你所看到的，我们的很独特点都是可以分类的。平日情况下，当模态的数量足够小的时刻，你可以简单地将 n 模态的分类特点转换为 n-1 维的哑变量，然后用它们去练习。然则当模态是成千上万级其余时刻——就像在我们应用中的一些情况一样——依附哑变量就显得没有效力并且不切实际。
如不雅你想懂得更多的关于 Word2Vec 的细节常识，你可以看一下斯坦福大年夜学的课程（https://www.youtube.com/watch?v=ERibwqs9p38），或者 TensorFlow 的相干教程（https://www.tensorflow.org/tutorials/word2vec）。
应用
为懂得决这个问题，我们经由过程一个小技能采取 Word2Vec 把分类特点转换为数量相当氨赡可用持续特点。为了阐述这个设法主意，我们以「exercise_id」为例来解释：exercise_id 是一个分类特点，它可以或许告诉我们被解答过的演习题是哪一个。为了可以或许应用 Word2Vec，我们供给一个语料库，也就是将要输入到我们的算法中的一系列句子。然而，原始的特点只是一个 ID 的列表罢了，它本质上并不是语料库：它的次序美满是随机的，邻近的 ID 也并没有携带着其相邻的 ID 任何信息。我们的技能包含把某个师长教师安排的一次功课看做一个「句子」，也就是连续串的 exercise_id。结不雅就是，所有的 ID 会很天然地以等级、章节等标签被收集在一路，然后 Word2Vec 可以直接在这些句子膳绫擎开端进修演习的嵌入（exercise embedding，对应于 Word embedding）。
事实上，恰是因为这些工资的句子我们才得以应用 Word2Vec，并获得了很漂涟?结不雅：
推荐阅读
【51CTO.com快译】据海外公司查询拜访显示，安卓(Android)体系今朝在商用智妙手机市场的┞芳有率持续走高，20>>>详细阅读
本文标题：除了自然语言处理，你还可以用词嵌入（Word2Vec）做这个
地址：http://www.17bianji.com/lsqh/36550.html
1/2 1
网友点评
精彩导读
科技快报
品牌展示