写模型代码的流程

文章目录

1. 1. 流程
   1. 1.1. 一. 模型正向计算(golden输入)
   2. 1.2. 二. 数据生成
      1. 1.2.1. 2.1 洗数据: 一条数据
      2. 1.2.2. 2.2 拼接数据: 生成batch数据
   3. 1.3. 三. 模型预测和评分代码
   4. 1.4. (四. 部署, raw输入)(如果模型性能足够好)

流程

一. 模型正向计算(golden输入)

设计模型正向计算, 同时可以确定batch输入数据有什么信息, 以什么格式输入.

二. 数据生成

2.1 洗数据: 一条数据

根据batch输入数据有什么信息, 确定一条数据需要存储的信息和格式. 存储为文件.

2.2 拼接数据: 生成batch数据

把单条数据拼接成batch.

三. 模型预测和评分代码

确定好各个子任务模块需要的评分标准, 确认好各个模块的输入是用golden还是pred.

补全模型里的预测代码.

(四. 部署, raw输入)(如果模型性能足够好)

从原始数据转成bsz=1的batch数据, 各个部分使用pred输入模块, 补全模型的纯预测代码.

数据转化代码尽量复用之前的代码.(迭代修改洗数据和拼接数据代码)