Kubelib
编写批量功课只是处理数据堆的一部分，你还须要将所有功课串起来生成类似工作流和管道的器械。
Python 是一款强大年夜的对象说话，被广泛应用在大年夜数据和机械进修之中。以下推荐了 5 个 Python 库，帮你疏浚机械进修之路。
PyWren
PyWren 许可你将基于 Python 的科学计算工作负载作为多个 AWS Lambda 函数来运行。The New Stack 上一份对该项目标描述是，应用 AWS Lamba 作为强大年夜的并行处理体系，处理可以切分为多个小义务的项目，大年夜而不消占据大年夜量的内存或存储空间。
机械进修令人高兴，但实际操作却很艰苦也很复杂。它涉及到很多手动操作，如集合工作流和管道，设置数据源，以及在内部安排与云安排的资本之间切换等。
此项目有个缺点是 lambda 函数运行不克不及跨越 300 秒。但如不雅是一份只需几分钟就能完成的工作，并且要在数据集中运行上千次，那 PyWren 会是不错的选择，它能在必定程度大将用户硬件上无法运行的工作平行化至云端。
Tfdeploy
Google 的 TensorFlow 框架在宣布了 1.0 版本之落后入光辉时代，这时人们要问了：若何才能在不应用 TensorFlow 本身的情况下，应用在 TensorFlow 上练习的模型?
Tfdeploy 能给你谜底。它将经由练习的 TensorFlow 模型导出为“简单的基于 NumPy 的可调用对象”，即该模许可以在 Python 中应用，并以 Tfdeploy 和 NumPy math-and-stats 库为独一的依附关系。大年夜多半可以在 TensorFlow 中履行的操作也可以在 Tfdeploy 中履行，你可以经由过程标准的 Python metaphors 来扩大库的行动(如，重载类)。
Luigi
Luigi 由 Spotify 创建，用于“解决与经久运行成批处理功课有关的管道问题”。开辟者可以经由过程 Luigi 采取多个不合且不相干的数据处理义务，如，Hive 萌芽，Java 中的 Hadoop 义务，Scala 中的 Spark 义务，大年夜数据库转储 table 等，还可以创建一个端到端运行它们的工作流。
对义务的┞符个描述以及依存性被打造为 Python 模块，而不是作为 XML 设备文件或其他数据格局创建，是以可以集成到其他以 Python 为中间的项目中。
如不雅你应用 Kubernetes 作为机械进修功课的编排体系，那么你会祷告 Kubernetes 产生的问题不要比解决的问题还多。Kubelib 为 Kubernetes 供给了一组 Pythonic 接口，最初是为了协助 Jenkins 脚本工作。然则它可以在没有 Jenkins 的情况下应用，它可以处理 kubectl CLI 或 Kubernetes API 裸露的一切办事。
PyTorch
PyTorch 是一个 Torch7 团队开源的 Python 优先的深度进修框架，供给两个高等功能：强大年夜的 GPU 加快 Tensor 计算(类似 numpy)，构建基于 tape 的主动进级体系上的深度神经收集。你可以重用你爱好的 python 包，如 numpy、scipy 和 Cython ，在须要时扩大 PyTorch。
平日应用 PyTorch 是将其作为 numpy 的替代品，以应用强大年夜的 GPU 才能，或作为一个深度进修研究平台，供给最大年夜的灵活性和速度。
【编辑推荐】
- 拖拽式机械进修的爱与恨
- 机械进修应用Elasticsearch进行更智能搜刮
- 改变┞俘在产生！机械进修可以将仁攀类带向何方？
- 若何构建用于检测信用卡欺骗的机械进修模型？
- 机械进修的本质就是数理统计？谜底可能没这么简单
推荐阅读
北京首站迎头彩 2017年深信服亚太区巡展矢志“创新智安全融合云IT”
3月30日，2017年深佩服亚太区巡展在北京开启首站序幕，数千人的会场座无虚席。本年的巡展以“立异智安然融合云IT”为主题，诠释安然与云计算范畴最新的IT趋势和营业需求变更>>>详细阅读
本文标题：5个开源Python库，让机器学习更简单
地址：http://www.17bianji.com/lsqh/34606.html
1/2 1
网友点评
精彩导读
科技快报
品牌展示