/README.md

<!-- WEHUB_ZH_README -->
> [!NOTE]
> 本文档由 WeHub 基于上游 README 翻译整理，属于社区翻译，非官方中文文档。  
> [English](./README.en.md) · [原始项目](https://github.com/maris205/dnagpt2) · [上游 README](https://github.com/maris205/dnagpt2/blob/HEAD/README.md)  
> 原作者、版权与许可证归属以原始项目及本仓库 LICENSE 文件为准。

DNAGPT2- 基因序列大语言模型最佳入门指南

### 1. 概述
大语言模型早已超越自然语言处理（NLP）研究领域，成为人工智能在科学领域的基石。在生物信息学中，基因序列与自然语言最为相似，因此将大模型应用于生物序列研究是近年来热门的研究方向。2024 年诺贝尔化学奖授予 AlphaFold 以表彰其在蛋白质结构预测方面的贡献，进一步照亮了生物学研究的未来道路。

然而，对大多数生物学家而言，大模型仍是陌生的领域。直到 2023 年，像 GPT 这样的模型还是 NLP 研究中的小众话题，只因 ChatGPT 的出现才获得公众关注。

大多数生物学与大模型的研究都出现在 2023 年之后，但显著的跨学科鸿沟意味着这些研究通常由大公司和团队协同完成。对许多研究者来说，复现或学习这些工作颇具挑战，GitHub 上顶级论文的 issues 版块就是明证。

一方面，大模型几乎必将塑造生物学研究的未来；另一方面，许多研究者在大模型门槛前踌躇不前。因此，架起跨越这一鸿沟的桥梁是迫切之需。

DNAGTP2 正是这座桥梁，旨在帮助更多生物学家跨越大模型门槛，并利用这些强大工具推进工作。

### 2. 教程特点
本教程的特点包括：

1. **简洁**：完全使用 Hugging Face 标准库构建的简单代码。
2. **简洁**：基础理论讲解配以完整可视化辅助。
3. **简洁**：易于理解的经典论文案例。

尽管简洁，教程内容却十分全面，从构建分词器到从头搭建 GPT、BERT 模型，微调 LLaMA 模型，基础的 DeepSpeed 多 GPU 分布式训练，以及应用 LucaOne、ESM3 等前沿（SOTA）模型。它结合序列分类、结构预测、回归分析等典型生物学任务，循序渐进展开。

### 目标受众：
1. 生物学领域的研究者与学生，尤其是生物信息学方向。
2. 大模型学习初学者，适用范围不限于生物学。

### 3. 教程大纲
#### 1 数据与环境
1.1 大模型运行环境介绍  
1.2 与基因相关的预训练与微调数据  
1.3 Datasets 库基础用法  

#### 2 从头构建 DNA GPT2/BERT 大模型
2.1 构建 DNA 分词器  
2.2 从头训练 DNA GPT2 模型  
2.3 从头训练 DNA BERT 模型  
2.4 使用基因大模型进行生物序列特征提取  
2.5 基于多模态数据构建大模型  

#### 3 使用基因大模型完成生物序列任务
3.1 序列分类任务  
3.2 结构预测任务  
3.3 多序列交互分析  
3.4 功能预测任务  
3.5 回归任务  

#### 4 步入 ChatGPT 时代：基因指令构建与微调
4.1 基于基因数据扩展 LLaMA 词表  
4.2 DeepSpeed 分布式训练介绍  
4.3 基于基因数据对 LLaMA 模型进行持续预训练  
4.4 使用 LLaMA-gene 大模型完成分类任务  
4.5 基于 LLaMA-gene 大模型的指令微调  

#### 5 生物学前沿大模型应用概览
5.1 DNABERT2 的应用  
5.2 LucaOne 的使用  
5.3 ESM3 的使用  
5.4 MedGPT 的应用  
5.5 LLaMA-gene 的应用


### 完整数据与视频
huggingface： https://huggingface.co/dnagpt/dnagpt2

github：https://github.com/maris205/dnagpt2

video：https://www.bilibili.com/video/BV1zEktYXEPK/