作家
登录

号称世界最快句法分析器,Python高级自然语言处理库spaCy!

作者: 来源: 2017-11-10 12:32:10 阅读 我要评论

Tech Neo技巧沙龙 | 11月25号,九州云/ZStack与您一路商量云时代收集界线治理实践


spaCy是Python和Cython中的高等天然说话处理库,它建立在最新的研究基本之上,大年夜一开端就设计用于实际产品。spaCy带有预先练习的统计模型和单词向量,今朝支撑20多种说话的标记。它具有世界上速度最快的句法分析器,用于标签的卷积神经收集模型,解析和定名实体辨认以及与深度进修整合。它是在MIT许可下宣布的贸易开源软件。

spaCy项目由@honnibal和@ines保护,固然无法经由过程电子邮件供给小我支撑。但开源者信赖,如不雅公开分享,会让赞助更有价值,可以让更多人大年夜中受益。(Github官方地址:https://github.com/explosion/spaCy#spacy-industrial-strength-nlp)

spaCy的特点:

  • 世界上最快的句法分析器

  • 实体定名辨认

  • 非破坏性标记

  • 支撑20多种说话

  • 预先练习的统计模型和单词向量

  • 易于深度进修模型的┞符合

  • 标签依附分析

  • 字符串到哈希映射更便捷

  • 导出numpy数据数组

  • 有效的二进制序列化

  • 易于模型打包和安排

  • 最快的速度

  • 强烈严格的评估精确性

安装spaCy

号称世界最快句法分析器,Python高等天然说话处理库spaCy!

pip

pip install spacy

在应用pip时,平日建议在虚拟情况中安装软件包以避免修改体系状况:

  • venv .envsource .env/bin/activate

  • pip install spacy

conda

conda config --add channels conda-forge

  • 要加载模型,请在模型的快捷链接中应用spacy.load():

    conda install spacy

  • 更新spaCy

    spaCy的一些更新可能须要下载新的统计模型,如不雅正在运行spaCy v2.0或更高版本,则可以应用validate敕令来检查安装的模型是否兼容,如不雅不兼容,请打印有关若何更新的具体信息:

    • 经由过程社区开辟者的尽力,终于从新添加了conda支撑。如今可以经由过程conda-forge安装spaCy:

      • pip install -U spacy

      • spacy validate

      如不雅已经练习了本身的模型,请记住,练习和运行时的输入必须匹配。在更新spaCy之后,建议用新版本从新练习模型。

      下载模型

      大年夜v1.7.0开端,spaCy的模许可以作为Python包安装。这意味着它们是应用法度榜样的组件,就像任何其他模块一样。 可以应用spaCy的下载敕令来安装模型,也可以经由过程将pip指向路径或URL来手动安装模型。

      号称世界最快句法分析器,Python高等天然说话处理库spaCy!

      号称世界最快句法分析器,Python高等天然说话处理库spaCy!

      号称世界最快句法分析器,Python高等天然说话处理库spaCy!

      如不雅已经经由过程pip安装了一个模型,也可以直接导入它,然后调用它的load()办法:

      号称世界最快句法分析器,Python高等天然说话处理库spaCy!

      支撑旧版本

      如不雅应用的是旧版本(v1.6.0或更低版本),则仍然可以应用python -m spacy.en.download all或python -m spacy.de.download all大年夜spaCy下载并安装旧模型。.tar.gz存档也附加到v1.6.0版本,要手动下载并安装模型,请解压存档,将包含的目次放入spacy / data,并经由过程spacy.load('en')或spacy.load('de')加载模型。

      大年夜源代码编译

      另一种安装spaCy的办法是克隆它的GitHub仓库,并大年夜源代码构建它。 如不雅要更改代码库,常见办法是须要确保你有一个由包含头文件,编译器,pip,virtualenv和git的Python发行版构成的开辟情况。编译器部分是最棘手的。,若何做到这一点取决于你的体系。有关具体信息,请参阅Ubuntu,OS X和Windows上的解释。

      号称世界最快句法分析器,Python高等天然说话处理库spaCy!

      与经由过程pip进行惯例安装比拟,requirements.txt会额外安装Cython等开辟人员依附项。 有关更多具体信息和解释,请参阅有关大年夜源代码编译spaCy和快速启动小部件的文档,以获取实用于您平台和Python版本的┞俘确敕令,而不是膳绫擎的具体敕令,你也可以应用下面的构造敕令,所有敕令都假定虚拟情况位于一个目次.env中。如不雅应用的是其他目次,则可以经由过程情况变量VENV_DIR进行更改,例如VENV_DIR =“。custom-env”fab clean make。


        推荐阅读

        可视化学习 Go并发编程

      Tech Neo技巧沙龙 | 11月25号,九州云/ZStack与您一路商量云时代收集界线治理实践 效不雅如下图(复制链接 http://talks.bingohuang.com/2017/go-concurrency-visualize/helloworld.html >>>详细阅读


      本文标题:号称世界最快句法分析器,Python高级自然语言处理库spaCy!

      地址:http://www.17bianji.com/lsqh/38726.html

    关键词: 探索发现

    乐购科技部分新闻及文章转载自互联网,供读者交流和学习,若有涉及作者版权等问题请及时与我们联系,以便更正、删除或按规定办理。感谢所有提供资讯的网站,欢迎各类媒体与乐购科技进行文章共享合作。

    网友点评
    自媒体专栏

    评论

    热度

    精彩导读
    栏目ID=71的表不存在(操作类型=0)