使用TENSORFLOW训练循环神经网络语言模型

# _outputs的shape为 [batch_size, num_steps, hidden_dim]

last = _outputs[:, -1, :] # 只须要最后一个输出

# dense 和 softmax 用于分类，以找出各词典概率

logits = tf.layers.dense(inputs=last, units=self.vocab_size)

prediction = tf.nn.softmax(logits)

self._logits = logits

self._pred = prediction

def cost(self):

"""计算交叉熵价值函数"""

cross_entropy = tf.nn.softmax_cross_entropy_with_logits(

logits=self._logits, labels=self._targets)

cost = tf.reduce_mean(cross_entropy)

self.cost = cost

def optimize(self):

"""应用adam优化器"""

optimizer = tf.train.AdamOptimizer(learning_rate=self.learning_rate)

self.optim = optimizer.minimize(self.cost)

def error(self):

"""计算缺点率"""

mistakes = tf.not_equal(

tf.argmax(self._targets, 1), tf.argmax(self._pred, 1))

self.errors = tf.reduce_mean(tf.cast(mistakes, tf.float32))

练习

def run_epoch(num_epochs=10): 
    config = LMConfig()   # 载入设备项 
 
    # 载入源数据，这里只须要练习集 
    train_data, _, _, words, word_to_id = \ 
        ptb_raw_data('simple-examples/data') 
    config.vocab_size = len(words) 
 
    # 数据分批 
    input_train = PTBInput(config, train_data) 
    batch_len = input_train.batch_len 
 
    # 构建模型 
    model = PTBModel(config) 
 
    # 创建session，初始化变量 	
			 7/9   首页 上一页 5 6 7 8 9 下一页 尾页	
			

　　推荐阅读
　　调试神经网络让人抓狂？这有16条锦囊妙计送给你
应用网格搜刮或随机搜刮或设备文件来调剂超参数 不要手动检查所有的参数，如许耗时并且低效。我平日对所有参数应用全局设备，检查运行结不雅之后，我拒绝一步研究改进的偏向。如不雅这种办法没有赞助，那么你可以应>>>详细阅读


本文标题：使用TENSORFLOW训练循环神经网络语言模型
地址：http://www.17bianji.com/lsqh/36985.html
 1/2    1