# aidata_process

**Repository Path**: jmdvirus/aidata_process

## Basic Information

- **Project Name**: aidata_process
- **Description**: 学习深度学习的时候，对数据采集及转化写的一些示例，可以方便使用，也让自己记忆
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2024-07-12
- **Last Updated**: 2026-10-27

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# aidata_process

记录一下搞 ai 数据处理的过程

## 数据格式转换

原数据结构
```
release_data
  - img_mark - 所有的图片都在这里，标注后的也在这里
  - img_split - 图片分割后的数据，这里面有 images 和 labels
```

用 labelme 标注的

tovoc.sh - 转化成 voc 格式 

tococo.sh - 转化成 coco 格式

后来也用了 labelimg 标注

toyolotxt.py 用于生成 yolo 的 txt 文件，基于 release_data/img_mark 下面的文件

## YOLO11 训练（yolo_train/）

基于 `../testdata/yolo` 数据集（labelme 标注经 toyolotxt.py 转换而来）训练 YOLO11 目标检测模型。

约定：**testdata 只存数据**（images/labels），所有配置、权重、训练输出都放在本工程工作区内。

```
yolo_train/
  - data.yaml     数据集配置（path 指向 ../testdata/yolo）
  - train.py      训练脚本
  - detect.py     检测脚本（图片/目录/视频/RTSP/摄像头）
  - yolo11n.pt    COCO 预训练权重（GitHub 不通时从 hf-mirror.com 下载）
  - runs/         训练与检测输出（不进 git）
```

数据集概况：train 127 张 / val 6 张，类别 lucy, kina, jmd, ruihao, haodi, yry
（其中 ruihao 2 / haodi 0 / yry 1 个实例，样本过少，这三类基本学不出）

用法（在 yolo_train 目录下执行）：
```bash
conda activate ai-env
python train.py                    # 默认 yolo11n 微调 150 轮
python train.py --epochs 50 --batch 8
python train.py --resume runs/train_exp/weights/last.pt    # 断点续训
python detect.py -s ../../testdata/yolo/images/val/1.JPG   # 检测（自动用最新 best.pt）
python detect.py -s 0              # 摄像头
```

环境（conda ai-env）：python 3.11 / torch 2.2.2+cu121 / ultralytics 8.3.9。
本机无 GPU，CPU 训练较慢；wandb 集成已在 ultralytics 设置中关闭。

## 变更记录

### 2026-10-27
- 新增 yolo_train/：YOLO11 训练与检测脚本（train.py / detect.py / data.yaml）
- 检查 testdata/yolo 数据集：图标签一一对应、格式正确，可直接训练
- 修复 ai-env 环境：torchvision 0.19.1 → 0.17.2（匹配 torch 2.2.2，原版本 import 即报错）；关闭 ultralytics 的 wandb 集成（避免强制要 API key）
- 确定目录约定：testdata 只存数据；data.yaml、预训练权重、runs 输出全部收进工作区 yolo_train/