evaluate ######## 两种调用方法:: evaluate.load("seqeval") datasets.load_metric("seqeval") evaluate.load("glue") ===================== * GLUE, the General Language Understanding Evaluation benchmark (https://gluebenchmark.com/) is a collection of resources for training, evaluating, and analyzing natural language understanding systems. * GLUE (General Language Understanding Evaluation) 是一套用于评估自然语言理解模型的套件和 benchmark。 GLUE 包括以下 9 个任务:: CoLA: 衡量模型是否能够判断句子是否合语法 SST-2: 二分类任务，判断句子是否正面 MRPC: 判断两个句子是否含义相同 STS-B: 判断两个句子的语义相似度 QQP: 判断两个问句是否含义相同 MNLI: 判断前提句子和结论句子是否一致 QNLI: 判断前提句子是否能推断结论句子 RTE: 判断两个句子是否表达相同的事实描述 WNLI: 判断两个句子在不同文本内是否对应 * GLUE 提供了这 9 个任务的官方测试集，通过平均多个任务准确率评估模型的综合语言理解能力。 * GLUE 是当前 NLP 领域公认的机器阅读理解任务指标，帮助模型开发者衡量和比较不同模型在自然语言理解上的表现水平。 evaluate.load("seqeval") ======================== seqeval是一个流行的序列标注评估工具,主要用于评估命名实体识别、文本 chunking 等序列标注任务的性能。它的主要特点包括:: - 支持多种序列标注表示,如BIO、IOB等 - 实现了精确匹配和部分匹配两种评估方法 - 计算准确率、召回率、F1分数等评估指标 - 支持实体、词性、语法等多种序列标注任务的评估 - 简单易用的API接口 - 支持PyTorch等深度学习框架 - 可以直接用于训练过程的评估 - 也可以对预测结果生成评估报告 其他调用方法:: metric = datasets.load_metric("seqeval") 1. 来源不同 - load_metric来自datasets库 - evaluate.load来自evaluate库 2. 调用接口不同 - load_metric返回一个Metric对象 - evaluate.load返回一个SEQEVAL对象 应用于:: Token classification evaluate.load("sacrebleu") ========================== sacrebleu是用于评估机器翻译质量的一个指标,具有以下特点:: - 它实现了Bilingual Evaluation Understudy (BLEU)的标准计算方法 - 与原始的BLEU实现相比,具有更好的可复现性、一致性和可比较性 - 能够消除弃用数据的影响,给出更准确的结果 - 支持青蛙文本(WMT)、新语料库(IWSLT)等标准翻译数据集上的结果评价 - 直接兼容NMT工具包(OpenNMT、Marian等)的输出结果进行评测 - 提供了便捷的命令行调用方式、Python接口和SacréBLEU scorer接口 - 可以快速加载使用,方便集成到机器翻译系统中 sacrebleu是机器翻译领域的重要评价指标,可以可靠地衡量翻译质量并给出自动评分,是训练和评估神经网络翻译模型的常用工具。 应用于:: Translation evaluate.load("rouge") ====================== rouge是一系列用于自动文本摘要和机器翻译评价的指标,主要功能如下:: - 提供ROUGE-N、ROUGE-L、ROUGE-W、ROUGE-S等多种评价指标 - ROUGE-N基于ngram统计文本重合程度 - ROUGE-L基于最长公共子序列判断相似度 - ROUGE-W加权longest common subsequence - ROUGE-S基于skip-bigram共现统计 - 可以评价生成摘要的质量,和人工摘要的相似度 - 研究表明,ROUGE指标和人类评价判断相关度高 - 在机器翻译、文本摘要任务中被广泛使用 - 可以快速加载使用,提供便捷的评价接口 - 支持多种编程语言的实现,如Python、Java、Perl等 示例:: rouge = evaluate.load("rouge") ROUGE提供了一个自动、快速、可靠的文本生成模型评价解决方案,是NLG系统不可或缺的评测工具。 应用于:: Summarization evaluate.load("accuracy") ========================= evaluate.load("accuracy") 加载了一个评估指标Accuracy(正确率)。 Accuracy指标是针对分类任务的评估指标,通过计算预测类别和真实类别相符的样本数量占总样本数量的比例,来评估模型的分类效果。 其计算公式为:: Accuracy = (TP + TN) / (TP + TN + FP + FN) 这里: TP - 真正例(真实标签为正类,预测也为正类) TN - 真负例(真实标签为负类,预测也为负类) FP - 假正例(真实标签为负类,预测为正类) FN - 假负例(真实标签为正类,预测为负类) Accuracy越高,说明模型预测的类别和真实类别越接近,模型效果越好。 Accuracy适用于二分类和多分类问题。对于样本分布不均衡的情况,Accuracy可能会过高估计模型效果。 evaluate.load("accuracy")会构建该指标,用于对分类模型预测进行正确率评估。它简单易用,是分类任务评估的首选指标之一。 应用于:: Text classification Multiple choice Audio classification Image classification Video classification evaluate.load("wer") ==================== evaluate.load("wer") 加载的是语音识别领域常用的评估指标Word Error Rate(WER)。 WER表示词错误率,是自动语音识别任务中衡量识别结果质量的主要评估指标之一。 其计算方式是:: WER = (S + D + I) / N 这里: S - 语音识别结果中的替换(substitution)数 D - 语音识别结果中的删除(deletion)数 I - 语音识别结果中的插入(insertion)数 N - 参考文本的词数 WER直观上表示,要将识别结果转换成参考文本,需要进行的最小编辑距离(通过替换、插入和删除操作的次数)与参考文本词数之比。 WER越低表示语音识别效果越好。为0表示完全准确识别。 evaluate.load("wer")会构建WER计算函数,取预测结果和参考文本作为输入,返回WER的值。使用WER可以直观地评估语音识别模型的识别效果,是语音识别任务中一个非常常用的评估指标。 应用于:: Automatic speech recognition evaluate.load("mean_iou") ========================= evaluate.load("mean_iou") 加载的是图像语义分割任务中的常用评估指标 mean IoU (交并比均值)。 IoU (Intersection over Union) 即交并比,是评估图像语义分割的关键指标。 对于每个类别,IoU计算方式为:: IoU = TP / (TP + FP + FN) 其中: TP - 真正例(真实框与预测框匹配上的像素) FP - 假正例(预测为该类但实际不是的像素) FN - 假反例(未预测为该类但实际是的像素) mean IoU 对所有类别的IoU取算术平均值,作为模型整体的评估指标。 mean IoU 越高,表示模型预测的MASK与真实MASK重合度越好,语义分割效果越佳。 evaluate.load("mean_iou") 将加载计算 mean IoU 的函数,可以直接用于评估语义分割模型的预测结果。 是图像语义分割任务中非常常用的评估指标。 应用于:: Semantic segmentation - 语义分割 其他 ==== 查看支持的metrics:: from datasets import list_metrics metrics_list = list_metrics() print(metrics_list) 全部metrics:: ['accuracy', 'bertscore', 'bleu', 'bleurt', 'brier_score', 'cer', 'character', 'charcut_mt', 'chrf', 'code_eval', 'comet', 'competition_math', 'coval', 'cuad', 'exact_match', 'f1', 'frugalscore', 'glue', 'google_bleu', 'indic_glue', 'mae', 'mahalanobis', 'mape', 'mase', 'matthews_correlation', 'mauve', 'mean_iou', 'meteor', 'mse', 'nist_mt', 'pearsonr', 'perplexity', 'poseval', 'precision', 'r_squared', 'recall', 'rl_reliability', 'roc_auc', 'rouge', 'sacrebleu', 'sari', 'seqeval', 'smape', 'spearmanr', 'squad', 'squad_v2', 'super_glue', 'ter', 'trec_eval', 'wer', 'wiki_split', 'xnli', 'xtreme_s', 'AlhitawiMohammed22/CER_Hu-Evaluation-Metrics', 'BucketHeadP65/confusion_matrix', 'BucketHeadP65/roc_curve', 'DarrenChensformer/eval_keyphrase', 'Drunper/metrica_tesi', 'Felipehonorato/eer', 'He-Xingwei/sari_metric', 'JP-SystemsX/nDCG', 'Josh98/nl2bash_m', 'Muennighoff/code_eval_octopack', 'NCSOFT/harim_plus', 'Natooz/ece', 'NikitaMartynov/spell-check-metric', 'Pipatpong/perplexity', 'Splend1dchan/cosine_similarity', 'Viona/fuzzy_reordering', 'Viona/kendall_tau', 'Vipitis/shadermatch', 'Yeshwant123/mcc', 'abdusah/aradiawer', 'abidlabs/mean_iou', 'abidlabs/mean_iou2', 'agkhalil/ragene_metrics', 'andstor/code_perplexity', 'angelina-wang/directional_bias_amplification', 'aryopg/roc_auc_skip_uniform_labels', 'brian920128/doc_retrieve_metrics', 'bstrai/classification_report', 'chanelcolgate/average_precision', 'ckb/unigram', 'codeparrot/apps_metric', 'cpllab/syntaxgym', 'dvitel/codebleu', 'ecody726/bertscore', 'eperezfmit/my_metric', 'eperezfmit/my_metric_3', 'fastrepl/mean_average_precision', 'fastrepl/mean_reciprocal_rank', 'fschlatt/ner_eval', 'gabeorlanski/bc_eval', 'giulio98/codebleu', 'guydav/restrictedpython_code_eval', 'harshhpareek/bertscore', 'hpi-dhc/FairEval', 'hynky/sklearn_proxy', 'hyperml/balanced_accuracy', 'ingyu/klue_mrc', 'jjkim0807/code_eval', 'jpxkqx/peak_signal_to_noise_ratio', 'jpxkqx/signal_to_reconstruction_error', 'k4black/codebleu', 'kaggle/ai4code', 'kedudzic/charmatch', 'langdonholmes/cohen_weighted_kappa', 'lhy/hamming_loss', 'lhy/ranking_loss', 'lvwerra/accuracy_score', 'manueldeprada/beer', 'mfumanelli/geometric_mean', 'mtc/fragments', 'omidf/squad_precision_recall', 'posicube/mean_reciprocal_rank', 'sakusakumura/bertscore', 'shalakasatheesh/squad', 'sma2023/wil', 'tialaeMceryu/unigram', 'transZ/sbert_cosine', 'transZ/test_parascore', 'transformersegmentation/segmentation_scores', 'unitxt/metric', 'unnati/kendall_tau_distance', 'vichyt/metric-codebleu', 'weiqis/pajm', 'ybelkada/cocoevaluate', 'yonting/average_precision_score', 'yuyijiong/quad_match_score']