使用TENSORFLOW训练循环神经网络语言模型

self.batch_len = self.input_data.shape[0] # 总批次

self.cur_batch = 0 # 当前批次

def next_batch(self):

"""攫取下一批次"""

x = self.input_data[self.cur_batch]

y = self.targets[self.cur_batch]

# 转换为one-hot编码

y_ = np.zeros((y.shape[0], self.vocab_size), dtype=np.bool)

for i in range(y.shape[0]):

y_[i][y[i]] = 1

# 如不雅到最后一个批次，则回到最开首

self.cur_batch = (self.cur_batch +1) % self.batch_len

return x, y_

模型

class PTBModel(object): 
    def __init__(self, config, is_training=True): 
 
        self.num_steps = config.num_steps 
        self.vocab_size = config.vocab_size 
 
        self.embedding_dim = config.embedding_dim 
        self.hidden_dim = config.hidden_dim 
        self.num_layers = config.num_layers 
        self.rnn_model = config.rnn_model 
 
        self.learning_rate = config.learning_rate 
        self.dropout = config.dropout 
 
        self.placeholders()  # 输入占位符 
        self.rnn()           # rnn 模型构建 
        self.cost()          # 价值函数 
        self.optimize()      # 优化器 
        self.error()         # 缺点率 
 
 
    def placeholders(self): 
        """输入数据的┞芳位符""" 
        self._inputs = tf.placeholder(tf.int32, [None, self.num_steps]) 
        self._targets = tf.placeholder(tf.int32, [None, self.vocab_size]) 	
			 5/9   首页 上一页 3 4 5 6 7 8 下一页 尾页	
			

　　推荐阅读
　　调试神经网络让人抓狂？这有16条锦囊妙计送给你
应用网格搜刮或随机搜刮或设备文件来调剂超参数 不要手动检查所有的参数，如许耗时并且低效。我平日对所有参数应用全局设备，检查运行结不雅之后，我拒绝一步研究改进的偏向。如不雅这种办法没有赞助，那么你可以应>>>详细阅读


本文标题：使用TENSORFLOW训练循环神经网络语言模型
地址：http://www.17bianji.com/lsqh/36985.html
 1/2    1