请问，压缩V4检测 server模型，需要使用什么数据集？

[TinyQi]

请问，压缩V4检测 server模型，需要使用什么数据集？

我使用自有的数据，验证精度不佳。我想请问我可以使用什么数据集进行验证，能尽可能保持模型的精度呢?

[ceci3]

一般使用训练数据数据就可以，另外请问下压缩方法使用的是什么？

[TinyQi]

一般使用训练数据数据就可以，另外请问下压缩方法使用的是什么？

我用我自己的训练集，大概只有1000张左右，压缩之后模型的精度很差。
前几个iter的时候还至少有一点精度的，如下图

到后面就变成这样了

[TinyQi]

一般使用训练数据数据就可以，另外请问下压缩方法使用的是什么？

我使用的压缩方法我也不太清楚，就是按照你们的文档，简单修改了数据集和模型的地址，学习率我也按照batch_size和GPU卡数进行了调整。下面是我的配置文件，麻烦您看看是不是有什么问题：
Global:
model_type: det
model_dir: /share/disk3/xcq/02.model_cache/pretrain_models/ch_PP-OCRv4_server_det_guding_shuru_1_output_bak/
#固定输出
model_filename: inference.pdmodel
params_filename: inference.pdiparams
algorithm: DB

Distillation:
alpha: 1.0
loss: l2

QuantAware:
use_pact: true
activation_bits: 8
is_full_quantize: false
onnx_format: True
activation_quantize_type: moving_average_abs_max
weight_quantize_type: channel_wise_abs_max
not_quant_pattern:

• skip_quant
  quantize_op_types:
• conv2d
• depthwise_conv2d
  weight_bits: 8

TrainConfig:
epochs: 5
eval_iter: 200
learning_rate:
type: CosineAnnealingDecay
learning_rate: 0.00000625
optimizer_builder:
optimizer:
type: Adam
weight_decay: 5.0e-05

PostProcess:
name: DBPostProcess
thresh: 0.3
box_thresh: 0.6
max_candidates: 1000
unclip_ratio: 1.5

Metric:
name: DetMetric
main_indicator: hmean

Train:
dataset:
name: SimpleDataSet
data_dir: /
label_file_list:
- /share/disk3/xcq/01.ImageData/028.LocationCharacterRecognition/train/ready_to_train/2023-11-29det/train.txt
ratio_list: [1.0]
transforms:
- DecodeImage:
img_mode: BGR
channel_first: false
- DetLabelEncode: null
- IaaAugment:
augmenter_args:
- type: Fliplr
args:
p: 0.5
- type: Affine
args:
rotate:
- -10
- 10
- type: Resize
args:
size:
- 0.5
- 3
- EastRandomCropData:
size:
- 960
- 960
max_tries: 50
keep_ratio: true
- MakeBorderMap:
shrink_ratio: 0.4
thresh_min: 0.3
thresh_max: 0.7
- MakeShrinkMap:
shrink_ratio: 0.4
min_text_size: 8
- NormalizeImage:
scale: 1./255.
mean:
- 0.485
- 0.456
- 0.406
std:
- 0.229
- 0.224
- 0.225
order: hwc
- ToCHWImage: null
- KeepKeys:
keep_keys:
- image
- threshold_map
- threshold_mask
- shrink_map
- shrink_mask
loader:
shuffle: true
drop_last: false
batch_size_per_card: 1
num_workers: 0

Eval:
dataset:
name: SimpleDataSet
data_dir: /
label_file_list:
- /share/disk3/xcq/01.ImageData/028.LocationCharacterRecognition/train/ready_to_train/2023-11-29det/test.txt
transforms:
- DecodeImage:
img_mode: BGR
channel_first: false
- DetLabelEncode: null
- DetResizeForTest:
# limit_side_len: 960
# limit_type: 'max'
image_shape: [960,960]
keep_ratio: false
- NormalizeImage:
scale: 1./255.
mean:
- 0.485
- 0.456
- 0.406
std:
- 0.229
- 0.224
- 0.225
order: hwc
- ToCHWImage: null
- KeepKeys:
keep_keys:
- image
- shape
- polys
- ignore_tags
loader:
shuffle: false
drop_last: false
batch_size_per_card: 1
num_workers: 0

[TinyQi]

另外有3个情况跟您反映一下，可能可以方便您排查问题。

1. 我使用的模型是固定输入的，我在导出V4的开源静态模型时，我定死了输入尺寸，导出的模型是固定输入的（shape:[1,3,960,960]
2. 我将模型的输出从原来的2个，改成了只有一个输出（只保留了sigmoid_11.tmp_0这个输出）。因为我一开始直接使用V4模型进行量化训练的时候，会报错。报错信息如下，因为我对比了示例中V3模型的模型，发现V3模型只有一个输出，为此我就尝试只保留一个输出，实验证明如果只保留一个输出的话，就不会崩溃，但是模型量化结果不尽人意。
   Traceback (most recent call last): File "run.py", line 157, in main() File "run.py", line 150, in main ac.compress() File "/home/anaconda3/envs/paddle_2.4.1_gpu/lib/python3.7/site-packages/paddleslim/auto_compression/compressor.py", line 594, in compress train_config) File "/home/anaconda3/envs/paddle_2.4.1_gpu/lib/python3.7/site-packages/paddleslim/auto_compression/compressor.py", line 776, in single_strategy_compress train_program_info, test_program_info, strategy, train_config) File "/home/anaconda3/envs/paddle_2.4.1_gpu/lib/python3.7/site-packages/paddleslim/auto_compression/compressor.py", line 825, in _start_train test_program_info.fetch_targets) File "run.py", line 80, in eval_function fetch_list=test_fetch_list) ValueError: too many values to unpack (expected 1) img.shape:(960, 960, 3)
3. 当前情况我使用的是V4的开源检测模型，在进行正常的微调训练时，我之前也尝试过使用我上面提到的自有的数据集进行微调，但是微调的结果都不如原始的开源模型，为此这个也是我怀疑数据集的问题的主要原因。

望有助您排查问题。

[TinyQi]

量化训练脚本为：PaddleSlim/example/auto_compression/ocr/run.py

[ceci3]

请问下V4模型是什么模型，具体我怎么拿到模型？

[huangguifeng]

我也遇到一样的问题