# 结合关键点识别和图像匹配的Agent

**Repository Path**: youtingyang/Agent

## Basic Information

- **Project Name**: 结合关键点识别和图像匹配的Agent
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-04-23
- **Last Updated**: 2026-05-21

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README


# 结合关键点识别和图像匹配的智能 Agent 系统

## 学生信息

| 项目 | 内容 |
|------|------|
| 学号 | （202452320229） |
| 年级 | （2024级） |
| 班级 | （智能科学与技术2班） |
| 姓名 | （杨悠婷） |

## 项目介绍

这是一个基于 ORB (Oriented FAST and Rotated BRIEF) 算法的智能视觉分析系统，集成了：
- 实时关键点检测
- 图像匹配与相似度计算
- 多图对比与排序
- 技能保存与复用
- 智能对话交互

### 核心技术
- 后端：FastAPI + OpenCV
- 前端：HTML5 + CSS3 + JavaScript
- 算法：ORB 特征提取 + Hamming 距离匹配
- 实时通信：WebSocket

## 软件架构

### 目录结构
```
Agent-master/
├── backend/              # 后端服务
│   ├── main.py         # 主程序入口
│   ├── requirements.txt # 依赖包
│   ├── samples/        # 示例图像
│   ├── skills/        # 技能保存目录
│   └── uploads/       # 用户上传目录
└── frontend/          # 前端界面
    ├── index.html   # 页面结构
    ├── styles.css  # 样式
    └── app.js       # 交互逻辑
```

### 核心功能模块
1. 视觉分析：关键点检测、图像匹配、多图对比
2. 智能对话：自然语言交互、意图识别
3. 技能系统：操作轨迹记录、保存、执行、删除
4. 安全防护：XSS 防护、文件验证、路径安全

## 安装和运行

### 环境要求
- Python 3.8+
- 现代浏览器（Chrome、Firefox、Edge）

### 1. 安装依赖
```bash
cd backend
pip install -r requirements.txt
```

### 2. 启动服务
```bash
python main.py
```

### 3. 访问应用
在浏览器打开：
```
http://localhost:8003
```

## 使用说明

### 图像选择
- 在左侧「图像库」点击选择图像
- 支持多选（用于多图对比）

### 视觉工具使用

| 工具 | 功能 | 需选择图片数 |
|------|------|---------------|
| 检测关键点 | 检测图像 ORB 特征点 | 1 张 |
| 匹配图像 | 对比两张图像 | 2 张 |
| 列出所有图像 | 查看可用图像 | 0 张 |
| 多图对比 | 与所有图像比较相似度 | 1 张 |

### 技能系统使用

#### 保存技能
1. 运行一次视觉操作（使用工具或对话）
2. 在 Agent 回复下方点击「保存为技能」
3. 输入技能名称和描述

#### 执行技能
- 在右侧「技能」面板点击任意技能卡片
- 或点击技能上的执行按钮
- 可选新图片执行，或使用原图片

#### 删除技能
- 点击技能上的删除按钮
- 确认后删除

### 智能对话
| 场景 | 示例 |
|------|------|
| 问候 | 你好、hello |
| 询问 | 你能做什么、怎么用 |
| 感谢 | 谢谢、thanks |
| 告别 | 再见、bye |
| 夸奖 | 厉害、好棒 |

## 安全特性

- XSS 攻击防护（HTML 转义）
- 文件类型验证
- 文件大小限制
- 路径遍历防护
- 输入参数验证

## 算法说明

### ORB 算法
- FAST 角点检测：快速定位特征点
- BRIEF 描述符：二进制特征描述
- 旋转不变性：支持旋转鲁棒性
- 尺度不变性：多尺度检测

### 匹配策略
- Hamming 距离：二进制描述符距离
- RANSAC：剔除误匹配
- 单应性矩阵：计算变换
- 相似度评分：0-100%

## 参与贡献

1. Fork 本仓库
2. 创建 Feature 分支
3. 提交代码
4. Pull Request

## 学生信息

| 项目 | 内容 |
|------|------|
| 学号 | （202452320229） |
| 年级 | （2024级） |
| 班级 | （智能科学与技术2班） |
| 姓名 | （杨悠婷） |