Markdown文档关键词提取与分类工具

自动提取markdown文档中的关键词及分类建议

Markdown文档关键词提取与分类建议工具

功能概述

这个工具可以自动分析Markdown文档内容，提取关键术语和概念，并提供分类建议。

关键词提取方法

1. 基于频率的提取：

   • 统计文档中出现频率高的名词和名词短语
   • 排除常见停用词(的、是、在等)

2. 基于标题结构的提取：

   • 提取各级标题中的关键词
   • 分析标题层级关系确定关键词重要性

3. 基于格式的提取：

   • 提取加粗(** **)、斜体(* *)和代码(` `)中的术语
   • 识别链接文本中的关键词

分类建议方法

1. 基于关键词聚类：

   • 将语义相关的关键词分组
   • 为每组生成分类标签

2. 基于文档结构：

   • 根据章节划分建议分类
   • 识别文档中的分类暗示(如”类别”、”类型”等章节)

3. 基于领域知识：

   • 使用预训练模型识别专业领域
   • 提供领域相关的标准分类体系

输出格式

工具可输出以下结构化数据：

{
  "keywords": [
    {"term": "机器学习", "frequency": 15, "sections": ["引言", "方法"]},
    {"term": "深度学习", "frequency": 8, "sections": ["方法"]}
  ],
  "category_suggestions": [
    {"name": "人工智能", "confidence": 0.85},
    {"name": "数据科学", "confidence": 0.72}
  ]
}

使用建议

1. 对于技术文档，优先考虑术语表和索引中的词条
2. 对于学术论文，关注摘要和结论中的高频概念
3. 对于笔记类文档，可结合标签系统进行分类

需要我分析特定Markdown文档或提供更详细的关键词提取规则吗？

需要

Markdown文档关键词提取与分类建议 - 详细实现方案

一、详细提取规则

1. 关键词提取规则

基础规则：

• 提取所有二级及以上标题内容（##, ###等）
• 提取所有代码块旁的说明文本（```前后的文字）
• 提取表格的表头内容
• 提取所有链接的锚文本（[文本](url)中的”文本”）

文本分析规则：

• 名词短语模式：(形容词|名词)+名词（如”深度学习模型”）
• 专业术语模式：大写字母开头的词组（如”BERT模型”）
• 缩略语模式：全大写字母且长度2-5（如”NLP”）

2. 权重计算

关键词权重 = 
  (标题层级权重 × 0.3) +
  (出现频率 × 0.25) + 
  (特殊格式权重 × 0.25) +
  (位置权重 × 0.2)

权重系数表：

特征	权重值
H1标题(#)	1.0
H2标题(##)	0.8
加粗文本	0.6
表格表头	0.5
首段出现	0.4
末段出现	0.3

二、分类建议算法

1. 基于LDA主题模型

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.decomposition import LatentDirichletAllocation

# 示例代码
vectorizer = CountVectorizer(max_df=0.95, min_df=2)
tf = vectorizer.fit_transform(md_texts)
lda = LatentDirichletAllocation(n_components=5)
lda.fit(tf)

2. 基于预训练模型的分类

推荐模型：

• BERTopic（基于BERT的专题模型）
• Zero-shot分类器（适合未知领域）
• spaCy的文本分类模块

三、完整处理流程

1. 预处理阶段：

   • 清除Markdown语法标记
   • 分离代码块与文本
   • 识别文档结构（标题树）

2. 关键词提取阶段：

   • 词性标注与名词短语识别
   • 基于规则的关键词候选生成
   • 关键词权重计算与排序

3. 分类建议阶段：

   • 主题建模（3-5个主题）
   • 层次聚类分析
   • 分类标签生成

四、特殊场景处理

技术文档处理：

• 提取API参数表中的参数名
• 识别代码注释中的术语（//后的内容）
• 关注版本号变更说明

学术论文处理：

• 提取摘要中的研究目标和方法
• 识别”贡献点”章节的关键陈述
• 关注图表标题说明

五、示例实现

以下是使用Python的简单实现框架：

import markdown
from collections import Counter
import nltk
from nltk.corpus import stopwords

class MarkdownKeywordExtractor:
    def __init__(self):
        self.stopwords = set(stopwords.words('english'))
        
    def extract(self, md_text):
        # 解析Markdown
        html = markdown.markdown(md_text)
        # 提取文本内容
        text = self._html_to_text(html)
        # 提取关键词
        words = self._tokenize(text)
        keywords = self._filter_keywords(words)
        return keywords
    
    def _html_to_text(self, html):
        # 实现HTML到纯文本的转换
        ...
    
    def _tokenize(self, text):
        # 使用nltk进行分词和词性标注
        ...
    
    def _filter_keywords(self, words):
        # 过滤停用词并统计词频
        ...

需要我为特定编程语言（Python/JavaScript等）提供更具体的代码实现，或者针对某种特定类型的Markdown文档（技术文档/学术论文/笔记等）定制规则吗？