詞向量word2vec(圖學習參考資料)

  • 2022 年 11 月 10 日
  • 筆記

介绍词向量word2evc概念,及CBOW和Skip-gram的算法实现。 项目链接: //aistudio.baidu.com/aistudio/projectdetail/5009409 在自然语言处理任务中,词向量(Word Embedding)是表示自然语言里单词的一种方法,即把每个词都表示 …

Continue Reading

噢!查重原來是這樣實現的啊!

  • 2022 年 10 月 22 日
  • 筆記

前言 项目中有一个查重的需求,就类似论文查重这种的需求,我的组长已经写好了这个 Demo 了,我也挺感兴趣的,所以也看了看是如何实现的,看完后,感慨一声,噢!原来是这样实现的啊!现在呢,就记录下我从中学到的知识! 需求 输入:需要查重的内容,通常是非常长的文本,对于论文来说,可能上万字。 输出:显示 …

Continue Reading

爬取部落格園每周熱點並試用jieba和wordcloud進行分詞和生成詞雲

  • 2022 年 10 月 18 日
  • 筆記

说来惭愧,来到博客园也好几年了,养成了时不时来刷刷首页,学习下先进知识的习惯,不过一直都是纯输入没有输出,今天才发现我竟然连博客都没开通。恰好这两天拿博客园练手做了个小项目,就以这个作为开始,写下在园子里的第一篇博客吧。 1. 项目背景 前阵子因为项目需要,学习了一段时间的知识图谱(Knowledg …

Continue Reading

利用Hugging Face中的模型進行句子相似性實踐

  • 2022 年 8 月 31 日
  • 筆記

Hugging Face是什么?它作为一个GitHub史上增长最快的AI项目,创始人将它的成功归功于弥补了科学与生产之间的鸿沟。什么意思呢?因为现在很多AI研究者写了大量的论文和开源了大量的代码,但是AI工程师又不能直接很好的使用,而Hugging Face将这些AI模型进行了更好的封装,满足了AI …

Continue Reading

語言模型大串燒之變形金剛

目录 词嵌入 词嵌入方式 基于计数的词嵌入(count based) 基于预测(prediction based) 语言模型 N-gram 困惑度perplexity word2vec 2013 Skip-Gram CBOW 近似训练 对比选择 Subsampling 哈夫曼树构建算法 QA Glo …

Continue Reading