作家
登录

机器学习研究重现难,难于上青天

作者: 来源: 2018-03-24 18:31:44 阅读 我要评论

全平易近充电节 | 3月26日~30日 2000位IT行业拭魅战专家邀请你一路充电进修!


导读:可重现性 / 一致性是计算科学研究的一项根本请求,机械进修也不例外。

机械进修研究论文毫无疑问是一笔宝贵的资产。这些论文可以用来启发将来的研究;它们可以成为对学生有效的教授教化对象;它们可认为工业界的应悠揭捉?究人员供给指导。也许最重要的是,它们可以赞助我们答复那些有关仁攀类存在的最根本的问题:比如,进修到底是什么意思?仁攀类的存在意味着什么?固然可重现性在科学研究中并不总可以或许做到,但它是进步研究质量的有力标准。如不雅研究结不雅可重现,那就证实这个研究结不雅有可能更稳健、更有意义,至少清除了很多由实验者带来的缺点(比如弄虚作假或有时得出的结不雅)。
然而,现有的很多机械进修研究结不雅要么弗成重现,要么难以重现。若何确保研究结不雅的靠得住性和可重现性,是很多机械进修研究者致力于解决的问题。甚至在 2017 年的 ICML 上,还专门组织了一场名为“Reproducibility in Machine Learning”的 Workshop,以商量机械进修研究结不雅的可重现性和可复制性问题。

我已经看到一些开源社区和始创公司正致力于解决这个问题。我也迫在眉睫地想要用我的长生来解决这个问题,但在短期内难有完全的解决筹划。在练习模型这件工作上,我们须要一次变革,就像版本控制体系的出现给我们的编码流程带来的巨变那样。


为什么机械进修研究重现起来那么难?来看看在谷歌 TensorFlow 团队研究深度进修的工程师 Pete Warden 怎么说。

Pete Warden 的文┞仿发出后,很多正在研究机械进修的工程师、研究察纷纷表示赞成,包含谷歌大年夜脑研究察、SketchRNN 的爸爸 David Ha(@hardmaru)也默默转发了他的推文。

我有个同伙创办了一家机械进修始创公司,比来,他碰着了一些麻烦。他们的机械进修模型混乱无章,当他的团队想基于这些模型构建一些器械或把它们展示给客户时,出现了严重的问题。有时刻,即使是模型原作者都无法正常地运行本身创建的模型,或者获得与之前同样的结不雅。他向我乞助,欲望我给他建议一个解决筹划,但我不得不承认,我在工作中也正遭受着同样的问题。向不懂得机械进修的人解释这些器械真的很难,我们最后照样回到了那个不应用代码版本控制体系的年代,并大年夜头开端练习模型,尽管有时刻认为如许做的确糟透了。

我大年夜 90 年代中期开端我的代码生活,那个时刻,微软的 Visual SourceSafe 是标准的代码版本控制体系。为了供给优胜的体验,它不支撑提交卸码原子操作,所以多个开辟者不克不及同时修改同一个文件。在晚上的时刻须要进行扫描和拷贝,避免出现不测的冲突,但即使是如许,也无法包管在早上的时刻数据库是完全的。只能说我足够荣幸,我地点的团队预备了一面墙,他们在墙上贴上便条,每张便条对应项目里的一个文件。当某个开辟人员想要修改某个文件时,就拿走对应的便条,等改完了再把便条放归去。

可以说,在版本控制体系面前,我是毫无害怕的。我曾经应用过一些异常糟糕的体系,如不雅有须要,我甚至可以应用同步对象本身捣鼓出一些解决筹划。但即使是如许,在机械进修开辟的变革跟踪和协作这个问题上,我可以异常坦诚地说,我也是束手无措。

为了解释这个问题,先来看看典范的机械进修模型生命周期:

  • 研究人员想测验测验一个新的图像分类架构。
  • 她大年夜之前的项目拷贝了一些代码用于处理输入数据集。
  • 数据集存放在收集上的某个文件目次下,有可能是大年夜 ImageNet 高低载下来的,但不清跋扈是哪个目次。在某个时刻,可能有人移除了部分非 JPEG 格局的图像,或者做了其他一些细微的修改,但没有留下任何修改汗青。
  • 她想方设法修复 bug,并调剂算法。这些变革都产生在她的本地机械上,为了练习模型,她须要把大年夜量的代码拷贝到 GPU 集群上。
  • 她反复练习了几回模型,并在本地机械上持续修改代码,因为练习一次模型须要几天甚至几周的时光。
  • 在练习接近尾声时可能出现了 bug,她就在赶紧修改了个一一个文件,并把它拷贝到集群的机械上。
  • 她可能将某一次练习获得的半成品权重用在了新的练习上,而新的练习是基于刚修悛改的代码。
  • 因为时光的关系,她评估了这几回的练习结不雅,并选择个一一个作为最终要宣布的模型,但这个模型有可能是应用不合的代码练习出来的。
  • 她把代码提交到版本控制体系的小我目次下。
  • 她把代码和模型宣布出来。

这已经是当研究人员足够当心谨慎时的一种比较乐不雅的情况了,但你已经可以想象到,如不雅换了别的一小我,要反复膳绫擎这些步调,并包管获得同样的结不雅,会有多灾。上述的每一个步调都有可能出现不一致,更何况机械进修框架有时刻会在机能和数字精确性之间做出衡量,就算真的有人可以按部就班地反复上述的步调,仍然会出现不一样的结不雅。


  推荐阅读

  简述数据中心的进化史

-->全平易近充电节 | 3月26日~30日 2000位IT行业拭魅战专家邀请你一路充电进修! 数据中间概念产生于20世纪50年代末,追跟着>>>详细阅读


本文标题:机器学习研究重现难,难于上青天

地址:http://www.17bianji.com/lsqh/40856.html

关键词: 探索发现

乐购科技部分新闻及文章转载自互联网,供读者交流和学习,若有涉及作者版权等问题请及时与我们联系,以便更正、删除或按规定办理。感谢所有提供资讯的网站,欢迎各类媒体与乐购科技进行文章共享合作。

网友点评
自媒体专栏

评论

热度

精彩导读
栏目ID=71的表不存在(操作类型=0)