Flux.1-DEV 部署与使用文档

# Flux.1-DEV 部署与使用文档

## 一、准备运行环境

### 1.1 版本配套表

| 配套   | 版本         | 环境准备指导 |
|--------|--------------|--------------|
| Python | 3.10.2       | -            |
| torch  | 2.1.0        | -            |

#### 设备支持
- Atlas 800I A2/A3 推理设备，支持1卡或2卡

### 1.2 获取CANN & MindIE安装包及环境准备

#### 1.2.1 拉取基础镜像
```bash
docker pull swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:2.0.RC2-800I-A3-py311-openeuler24.03-lts
```

#### 1.2.2 安装依赖
```bash
yum groupinstall "Development Tools"
yum install gcc-c++-aarch64-linux-gnu
yum install glibc-devel
```

#### 1.2.3 安装算子包
```bash
chmod +x ./Ascend-cann-kernels-910b_8.1.RC1_linux-aarch64.run
./Ascend-cann-kernels-910b_8.1.RC1_linux-aarch64.run --install
```

#### 1.2.4 设置环境变量
```bash
export CPLUS_INCLUDE_PATH=/usr/include/c++/12/aarch64-openEuler-linux:/usr/include/c++/12
```

### 1.3 CANN 安装

```bash
chmod +x ./Ascend-cann-kernels-{soc}_{version}_linux.run

# 校验软件包
./Ascend-cann-kernels-{soc}_{version}_linux.run --check

# 安装
./Ascend-cann-kernels-{soc}_{version}_linux.run --install

# 设置环境变量
source /usr/local/Ascend/ascend-toolkit/set_env.sh
```

### 1.4 安装Python依赖
```bash
pip3 install -r requirements.txt
```

### 1.5 MindIE 安装

```bash
chmod +x ./Ascend-mindie_${version}_linux-${arch}.run
./Ascend-mindie_${version}_linux-${arch}.run --check

# 默认路径安装
./Ascend-mindie_${version}_linux-${arch}.run --install
cd /usr/local/Ascend/mindie && source set_env.sh

# 或指定路径安装
./Ascend-mindie_${version}_linux-${arch}.run --install-path=${AieInstallPath}
cd ${AieInstallPath}/mindie && source set_env.sh
```

### 1.6 Torch_npu 安装

```bash
# 下载 pytorch_v{pytorchversion}_py{pythonversion}.tar.gz
tar -xzvf pytorch_v{pytorchversion}_py{pythonversion}.tar.gz
pip install torch_npu-{pytorchversion}.xxxx.{arch}.whl
```

---

## 二、下载本仓库

```bash
git clone https://modelers.cn/MindIE/FLUX.1-dev.git
```

---

## 三、Flux.1-DEV 使用

### 3.1 准备权重

- 权重下载地址：https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main

- 设置模型权重路径环境变量
  ```bash
  export model_path="your local flux model path"
  ```

- 修改权重配置文件 `${model_path}/model_index.json`，内容如下：

```json
{
  "_class_name": "FluxPipeline",
  "_diffusers_version": "0.30.0.dev0",
  "scheduler": ["diffusers", "FlowMatchEulerDiscreteScheduler"],
  "text_encoder": ["transformers", "CLIPTextModel"],
  "text_encoder_2": ["transformers", "T5EncoderModel"],
  "tokenizer": ["transformers", "CLIPTokenizer"],
  "tokenizer_2": ["transformers", "T5TokenizerFast"],
  "transformer": ["FLUX1dev", "FluxTransformer2DModel"],
  "vae": ["diffusers", "AutoencoderKL"]
}
```

### 3.2 运行Flux

- 可导入以下环境变量提升推理性能
  ```bash
  export CPU_AFFINITY_CONF=2
  export TASK_QUEUE_ENABLE=2
  ```

#### 3.2.1 Atlas-800I-A2-64g 单卡运行

```bash
python inference_flux.py \
       --path ${model_path} \
       --save_path "./res" \
       --device_id 0 \
       --device "npu" \
       --prompt_path "./prompts.txt" \
       --width 1024 \
       --height 1024 \
       --infer_steps 50 \
       --seed 42 \
       --use_cache \
       --device_type "A2-64g" \
       --batch_size 1
```

#### 3.2.2 Atlas-800I-A2-32g 单卡/双卡运行

- 单卡
  ```bash
  python inference_flux.py \
         --path ${model_path} \
         --save_path "./res" \
         --device_id 0 \
         --device "npu" \
         --prompt_path "./prompts.txt" \
         --width 1024 \
         --height 1024 \
         --infer_steps 50 \
         --seed 42 \
         --use_cache \
         --device_type "A2-32g-single"
  ```

- 双卡权重切分
  ```bash
  python3 tpsplit_weight.py --path ${model_path}
  ```

- 修改 `transformer_0` 和 `transformer_1` 下的 config 文件，添加 `"is_tp": true` 字段。

- 双卡运行
  ```bash
  export ASCEND_LAUNCH_BLOCKING=1
  ASCEND_RT_VISIBLE_DEVICES=0,1 torchrun --master_port=2002 --nproc_per_node=2 inference_flux.py --device_type "A2-32g-dual" --path ${model_path} --prompt_path "./prompts.txt" --width 1024 --height 1024 --infer_steps 50 --seed 42 --use_cache
  ```

---

## 四、推理精度测试

### 4.1 ClipScore 测试

#### 1. 准备模型与数据集

```bash
wget https://raw.githubusercontent.com/google-research/parti/main/PartiPrompts.tsv --no-check-certificate
apt install git-lfs
git lfs install
git clone https://huggingface.co/laion/CLIP-ViT-H-14-laion2B-s32B-b79K
```

#### 2. 推理生成图像

- 单卡64G
  ```bash
  python inference_flux.py \
         --path ${model_path} \
         --save_path "./clipscore_res_wocache" \
         --device_id 0 \
         --device "npu" \
         --prompt_path "./PartiPrompts.tsv" \
         --prompt_type "parti" \
         --num_images_per_prompt 4 \
         --info_file_save_path "./clip_info_wocache.json" \
         --width 1024 \
         --height 1024 \
         --infer_steps 50 \
         --seed 42 \
         --device_type "A2-64g"
  ```

- 双卡32G
  ```bash
  ASCEND_RT_VISIBLE_DEVICES=0,1 torchrun --master_port=2002 --nproc_per_node=2 inference_flux.py --device_type "A2-32g-dual" --path ${model_path} --prompt_path "./PartiPrompts.tsv" --prompt_type "parti" --num_images_per_prompt 4 --info_file_save_path "./clip_info_wocache.json" --width 1024 --height 1024 --infer_steps 50 --seed 42
  ```

#### 3. 计算clipscore

```bash
python clipscore.py \
       --device="cpu" \
       --image_info="clip_info_wocache.json" \
       --model_name="ViT-H-14" \
       --model_weights_path="./CLIP-ViT-H-14-laion2B-s32B-b79K/open_clip_pytorch_model.bin"
```

### 4.2 Hpsv2 精度测试

#### 1. 准备模型与数据集

```bash
wget https://huggingface.co/spaces/xswu/HPSv2/resolve/main/HPS_v2_compressed.pt --no-check-certificate
```

#### 2. 推理生成图像

- 单卡64G
  ```bash
  python inference_flux.py \
         --path ${model_path} \
         --save_path "./hpsv2_res_wocache" \
         --device_id 0 \
         --device "npu" \
         --prompt_type "hpsv2" \
         --num_images_per_prompt 1 \
         --info_file_save_path "./hpsv2_info_wocache.json" \
         --width 1024 \
         --height 1024 \
         --infer_steps 50 \
         --seed 42 \
         --device_type "A2-64g"
  ```

- 双卡32G
  ```bash
  ASCEND_RT_VISIBLE_DEVICES=0,1 torchrun --master_port=2002 --nproc_per_node=2 inference_flux.py --device_type "A2-32g-dual" --path ${model_path} --prompt_type "hpsv2" --num_images_per_prompt 1 --info_file_save_path "./hpsv2_info_wocache.json" --width 1024 --height 1024 --infer_steps 50 --seed 42
  ```

#### 3. 计算hpsv2分数

```bash
python hpsv2_score.py \
       --image_info="hpsv2_info_wocache.json" \
       --HPSv2_checkpoint="./HPS_v2_compressed.pt" \
       --clip_checkpoint="./CLIP-ViT-H-14-laion2B-s32B-b79K/open_clip_pytorch_model.bin"
```

---

## 五、优化指南

- 等价优化：FA、ROPE、RMSnorm、TP并行（32G机器可选）
- 算法优化：FA、ROPE、RMSnorm、DiTCache、TP并行（32G机器可选）

### 性能参考

| 硬件形态             | cpu规格   | batch size | 分辨率      | 迭代次数 | 优化手段      | 平均耗时 | 采样器           | 备注     |
|----------------------|-----------|------------|-------------|----------|---------------|----------|------------------|----------|
| Atlas 800I A2(8*64G) | 64核(arm) | 1          | 1024*1024   | 50       | with DiTCache | 20.4s    | FlowMatchEuler   | 单卡运行 |
| Atlas 800I A2(8*32G) | 64核(arm) | 1          | 1024*1024   | 50       | with DiTCache | 24.6s    | FlowMatchEuler   | 双卡运行 |

---

如需进一步定制或有特殊环境需求，请补充说明。