4.4.1. 通用¶

各种文本(Open-Source Pre-Processing Tools for Unstructured Data): https://unstructured.io/
The unstructured library provides open-source components for ingesting and pre-processing images and text documents, such as PDFs, HTML, Word docs, and many more.

抽取式文本摘要¶

获取核心要点:

1. 文本摘要:

使用自动摘要工具或算法对文章进行摘要，提取关键信息并生成简短的概括。
可以尝试一些开源的文本摘要工具，例如：
TLDR;: [移除了无效网址]
Sumy: https://github.com/miso-belica/sumy
TextRank: [移除了无效网址]
2. 关键词提取:

识别文章中最重要的关键词和短语，这些词语通常能够反映文章的核心主题和内容。
可以使用一些关键词提取工具，例如：
RAKE: [移除了无效网址]
TextBlob: https://github.com/sloria/TextBlob
KeyBERT: https://github.com/MaartenGr/KeyBERT
3. 主题建模:

利用主题建模算法，将文章分解为多个主题，并识别每个主题的代表性词语。
可以尝试一些主题建模工具，例如：
LDA: https://scikit-learn.org/stable/modules/generated/sklearn.decomposition.LatentDirichletAllocation.html
Gensim: https://radimrehurek.com/gensim/
TopicMod: [移除了无效网址]
4. 句子抽取:

抽取文章中最重要和最有代表性的句子，形成简短的文本摘要。
可以使用一些句子抽取工具，例如：
TextRank: [移除了无效网址]
KEA: [移除了无效网址]
SBERT: [移除了无效网址]

如何抽取文章中最重要和最有代表性的句子，形成简短的文本摘要:

1. 基于句子位置的抽取

文章的开头和结尾往往包含重要信息，因此可以抽取文章的开头和结尾句子。
段落的首句通常是段落主题的概括，因此可以抽取段落的首句。
2. 基于句子相似度的抽取

计算句子与文章主题的相似度，抽取相似度最高的句子。
可以使用一些文本相似度计算方法，例如：
余弦相似度
Jaccard 相似度
编辑距离
3. 基于句子特征的抽取

计算句子的长度、关键词数量、句法结构等特征，抽取特征值较高的句子。
可以使用一些机器学习算法，例如：
支持向量机
随机森林
逻辑回归
4. 基于图模型的抽取

将文章构建成图模型，利用图模型的算法抽取重要的句子。
可以使用一些图模型算法，例如：
TextRank
LexRank
PageRank

一些常用的文本摘要工具:

    TLDR;
    Sumy
    TextRank
    KEA
    SBERT





LDA 主题模型：LDA 是一种用于从文档集合中提取主题的生成式模型，它可以将文档表示为主题的分布。可以使用 LDA 模型来识别文档中的关键主题，并抽取与这些主题相关的句子作为摘要。




预处理文本：

分句：将文章分割成句子。可以使用句号、问号、感叹号等标点符号作为句子分隔符。
分词：对每个句子进行分词，尤其是在处理中文文本时，分词变得尤为重要。
去除停用词：移除常见的、意义不大的停用词，如 “的”、“和”、“是” 等。
词性标注：对分词后的结果进行词性标注，识别名词、动词等重要词汇。
句子权重计算：

TF-IDF：使用词频 - 逆文档频率（Term Frequency-Inverse Document Frequency，TF-IDF）算法来评估每个词的重要性。TF-IDF 高的词通常表明其在文档中的重要性。
词位：考虑词在句子中的位置，如标题、首句、尾句等，这些位置的词往往更具代表性。
句子长度：较长的句子可能包含更多的信息，可以作为权重的一个考量因素。