3.1.2. 依赖安装¶

核心库:

pip install openai
pip install scipy
pip install plotly
pip install matplotlib
pip install jupyter jupyterlab
pip install opencv-contrib-python
pip install opencv-python
pip install numpy
pip install scikit-learn
pip install ipython

pip install torch
// 用来处理图像的
pip install torchvision
// 常用的文本处理工具和常见自然语言数据集的工具包
pip install torchtext

# For GPU support with CUDA 11.8:
pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu118
pip install torch==1.10.0+cu111 torchvision==0.11.1+cu111 torchaudio==0.10.0+cu111 -i https://mirrors.aliyun.com/pypi/simple/


// Fasttext
pip install gensim
pip install fasttext

// T5
pip install transformers
pip install sentencepiece


// 文本分词
pip install tiktoken

// 界面渲染
pip install gradio


// 快速进行高维向量的相似性搜索
pip install faiss
pip install faiss-cpu
pip install faiss-gpu


// 先搜索、后提示的方式
pip install langchain
pip install llama-index


// 自然语言处理
pip install spacy

// 效果最好的语义搜索类的模型
pip install sentence-transformers

// 清华大学的 ChatGLM 语言模型
pip install icetk
pip install cpm_kernels

音频:

// 音频分隔
pip install -U pydub

// 开源音频处理
pip install openai-whisper
pip install setuptools-rust

// bilibili.com
pip install bilibili-api

// 百度开源的 PaddleSpeech 的语音合成（Text-To-Speech）
pip install paddlepaddle -i https://mirror.baidu.com/pypi/simple
pip install paddlespeech -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install pyaudio

// Google 的语音识别 API
pip install speechrecognition

// ASR系统评价指标
// 实现了Word Error Rate(WER)和Word Information Lost(WIL)这两个常用的ASR系统评价指标
pip install jiwer   # 自动语音识别系统(ASR)结果评价的Python库

pip install soundfile           # 读取和写入各种音频文件格式的库

pip install speechbrain         # 开源的语音处理工具包

图片相关:

// Stable Diffusion 生成图片
pip install diffusers accelerate transformers

// ControlNet 模型需要额外安装
pip install xformers controlnet_aux


pip install albumentations      # 图像增强库,通常用在计算机视觉和深度学习领域

pip install scikit-image    # 科学图像分析

数据集加载工具包:

pip install datasets                            // Hugging Face Datasets
pip install tensorflow-datasets         // TensorFlow Datasets

// 中文分词
pip install jieba

// 基本库
pip install requests

// 图形库
pip install Pillow
// 使用
from PIL import Image
        // PIL 是 Python Imaging Library 的简写,是一个 Python 图像处理库
        // PIL 已经停止开发维护多年,目前主流的 Python 图像处理库是 Pillow,它是 PIL 的一个 fork,致力于修复 PIL 的问题并与时俱进

- bitsandbytes:这是一个由Hugging Face提供的用于评测NLP模型性能的工具库。可以用来比较不同模型在一致的评测设置下的表现。
- datasets:这是Hugging Face的数据集管理和加载库,可以快速访问各种公开数据集。
- accelerate:这是一个PyTorch的分布式训练库,可以通过少量代码改动实现分布式数据并行。
- loralib:这是一个文本生成评估工具箱,提供了多个自动化指标来评估文本生成模型的质量。