迁移学习：数据不足时如何深度学习

固然这只是个示例，但可以发明在迁徙进修技巧的赞助下，精确度大年夜50%飞速晋升至100%。若要查看完全典范和代码请拜访下列地址：

https://gist.github.com/prats226/9fffe8ba08e378e3d027610921c51a78

迁徙进修的一些真实案例

第2步

#### 图像辨认：

图像加强

对象检测

皮肤癌检测

#### 文字辨认：

Zero Shot翻译

情感分类

迁徙进修实现过程中的可贵

固然可以用更少量的数据练习模型，但该技巧的应用有着更高的技能请求。只须要看看上述例子中硬编码参数的数量，并假想一下要在模型练习完成前赓续调剂这些参数，迁徙进修技巧应用的难度之大年夜可想而知。

迁徙进修技巧今朝面对的问题包含：

找到预练习所需的大年夜范围数据集

决定用来预练习的模型

两种模型中任何一种无法按照预期工作都将比较难声调试

不肯定为了练习模型还须要额外预备若干瘪据

应用预练习模型时难以决定在哪里停止

graph = tf.Graph()with graph.as_default(): train_inputs = tf.placeholder(tf.int32, shape=[batch_size]) train_labels = tf.placeholder(tf.int32, shape=[batch_size, 1]) valid_dataset = tf.constant(valid_examples, dtype=tf.int32) with tf.device(‘/cpu:0’): embeddings = tf.Variable(tf.random_uniform([vocabulary_size, embedding_size], -1.0, 1.0)) embed = tf.nn.embedding_lookup(embeddings, train_inputs) nce_weights = tf.Variable(tf.truncated_normal([vocabulary_size, embedding_size], stddev=1.0 / math.sqrt(embedding_size))) nce_biases = tf.Variable(tf.zeros([vocabulary_size])) loss = tf.reduce_mean(tf.nn.nce_loss(nce_weights, nce_biases, embed, train_labels, num_sampled, vocabulary_size)) optimizer = tf.train.GradientDescentOptimizer(1.0).minimize(loss) norm = tf.sqrt(tf.reduce_sum(tf.square(embeddings), 1, keep_dims=True)) normalized_embeddings = embeddings / norm valid_embeddings = tf.nn.embedding_lookup(normalized_embeddings, valid_dataset) similarity = tf.matmul(valid_embeddings, normalized_embeddings, transpose_b=True) init = tf.global_variables_initializer()

在预练习模型的基本上，肯定模型所需层和参数的数量

托管并供给组合后的模型

当出现更多半据或更好的技巧后，对预练习模型进行更新

training_the_sentiment_model.py托管于GitHub，查看源文件

数据科学家难觅。找到能发明数据科学家的人其实一样艰苦。 — Krzysztof Zawadzki

NanoNets让迁徙进修变得更简单

亲自经历过这些问题后，我们开端着手经由过程构建支撑迁徙进修技巧的云端深度进修办事，尝尝试经由过程这种简单易用的办事解决这些问题。该办事中包含一系列预练习的模型，我们已针对数百万个参数进行过练习。你只须要上传本身的数据（或在收集上搜刮数据），该办事即可针对你的具体义务选择最合适的模型，在现有预练习模型的基本上建立新的NanoNet，将你的数据输入到NanoNet中进行处理。

Nanonet对法度榜样员是免费的，可以用来进修和看看效不雅。

pretraining_model.py托管于GitHub，可查看源文件