1
双生产线：结构化与非结构化
结构化数据侧，从盘点梳理（四清单）、规划组织、数据采集、数据存储、 数据加工到数据管理、数据应用，形成数据资源目录、数据确权、 数据可信源、数据质量、数据安全五大治理支柱。 非结构化数据侧，覆盖批量同步、实时同步与内容识别（OCR、 音视频转文本），采用分布式文件、对象、向量库、图数据库存储， 经预处理与标注后进入数据集管理。
- 数据建模：ODS / STD / DWD / ADS 分层；非结构化侧做文件主题分类、向量建模、图建模
- 预处理：降噪去重、内容切片、语义分割、特征提取、关键词提取
- 数据标注：文本、图像、音频、视频、时空等多类型
- 数据集管理：数据集评测、评测管理、合规管理
- 知识管理：实体识别、关系识别、事件识别、信息映射、图谱构建
- 生成问答对、生成实体关系、多模态特征提取