lightNLP:框架功能豐富，開箱即用

  • 2019 年 10 月 28 日
  • 筆記

基於Pytorch和torchtext的自然語言處理深度學習框架，包含序列標註、文本分類、句子關係、文本生成、結構分析、五大功能模組，已實現了命名實體識別、中文分詞、詞性標註、語義角色標註、情感分析、關係抽取、語言模型、文本相似度、文本蘊含、依存句法分析、詞向量訓練、聊天機器人、機器翻譯、文本摘要等功能。

AI項目體驗地址 https://loveai.tech

依據自然語言處理四大任務等，框架主要設計為有以下五大功能：

  • 序列標註， Sequence Labeling
  • 文本分類， Text Classification
  • 句子關係， Sentence Relation
  • 文本生成， Text Generation
  • 結構分析， Structure Parsing

因此將有五個主要的功能模組：sl（序列標註）、tc（文本分類）、sr（句子關係）、tg（文本生成）、sp（結構分析）和其他功能模組如we（詞向量）。

當前已實現的功能

序列標註，sl

  • 中文分詞，cws
  • 命名實體識別，ner
  • 詞性標註，pos
  • 語義角色標註， srl

結構分析，sp

  • 基於圖的依存句法分析，gdp
  • 基於轉移的依存句法分析， tdp

句子關係，sr

  • 語句相似度，ss
  • 文本蘊含，te

文本分類，tc

  • 關係抽取，re
  • 情感極性分析，sa

文本生成，tg

  • 語言模型，lm
  • 聊天機器人，cb
  • 機器翻譯，mt
  • 文本摘要，ts

詞向量，we

  • 詞袋模型，cbow
    • base
    • hierarchical_softmax
    • negative_sampling
  • 跳字模型，skip_gram
    • base
    • hierarchical_softmax
    • negative_sampling

安裝

本項目基於Pytorch1.0

pip install lightNLP

建議使用中國源來安裝，如使用以下命令：

pip install -i https://pypi.douban.com/simple/ lightNLP

模型

  • ner: BiLstm-Crf
  • cws: BiLstm-Crf
  • pos: BiLstm-Crf
  • srl:BiLstm-Crf
  • sa: TextCnn
  • re: TextCnn,當前這裡只是有監督關係抽取
  • lm: Lstm,基礎的LSTM，沒有使用Seq2Seq模型
  • ss: 共享LSTM + 曼哈頓距離
  • te:共享LSTM + 全連接
  • tdp: lstm + mlp + shift-reduce(移入規約)
  • gdp: lstm + mlp + biaffine（雙仿射）
  • cbow: base、hierarchical_softmax、negative_sampling
  • skip_gram: base、hierarchical_softmax、negative_sampling
  • cb: Seq2Seq+Attention
  • mt: Seq2Seq+Attention
  • ts: Seq2Seq+Attention

Tags:

VirMach 便宜 VPS