用深度神经网络处理NER命名实体识别问题

.config.label_size])

b2 = tf.get_variable('b2', [self.config.label_size])

y = tf.matmul(h, U) + b2

if self.config.l2:

tf.add_to_collection('total_loss', 0.5 * self.config.l2 * tf.nn.l2_loss(U))

output = tf.nn.dropout(y, self.dropout_placeholder) # 返回 output，两个variable_scope都带dropout

return output

关于 L2正则化和 dropout 是什么, 若何减小过拟合问题的，可以看这篇博客，总结的简单清楚明了。

用 cross entropy 来计算 loss：

接着用 Adam Optimizer 把loss最小化：

def add_training_op(self, loss): 
 
  optimizer = tf.train.AdamOptimizer(self.config.lr) 
  global_step = tf.Variable(0, name='global_step', trainable=False) 
  train_op = optimizer.minimize(loss, global_step=global_step)    # 2.关键步调：用 AdamOptimizer 使 loss 达到最小，所以更关键的是 loss 
 
  return train_op

每一次练习后，获得了最小化 loss 响应的 weights。

def add_loss_op(self, y): 
 
  cross_entropy = tf.reduce_mean(                                                        # 1.关键步调：loss是用cross entropy定义的 
      tf.nn.softmax_cross_entropy_with_logits(y, self.labels_placeholder))                # y是模型猜测值，计算cross entropy 
  tf.add_to_collection('total_loss', cross_entropy)            # Stores value in the collection with the given name. 
                                                              # collections are not sets, it is possible to add a value to a collection several times. 
  loss = tf.add_n(tf.get_collection('total_loss'	
			 4/5   首页 上一页 2 3 4 5 下一页 尾页	
			

　　推荐阅读
　　你真的了解混合云吗?钻入云端看几个让人混淆的云计算概念
            
            
                
                    
                
                【51CTO.com原创稿件】云计算慢慢进入深水区，传统的公有云和私有云都已经裸露出必定的局限性，是以混淆云似乎>>>详细阅读


本文标题：用深度神经网络处理NER命名实体识别问题
地址：http://www.17bianji.com/lsqh/35497.html
 1/2    1