Skip to content

数据生命周期教程

ChemVault 的数据生命周期从“原始资料进入系统”开始,到“可复用数据、项目证据和沟通记录完成归档”结束。这个页面用于解释各产品如何协作,以及每个阶段应该检查什么。

阶段主要产品输出
收集资料Mail / 主站 / Files邮件、论文、报告、谱图、表格、项目材料。
保存原始文件Files文件对象、文件夹、标签、元数据和 Activity。
解析文档Extractdocument、chunks、parse status。
运行 AI 提取Extract候选 scientific records。
人工审核Extract / Notificationsapproved、rejected、needs_review 记录。
导出数据ExtractCSV、JSON、XLSX、dataset。
协作通知Notifications / Mail任务提醒、项目消息、正式邮件。
归档复用Files / Dossiers / Docs文件归档、证据链、方法说明和参考链接。

原始文件应尽量保留完整来源。不要只保存 AI 输出或截图。

建议保留:

  • 原始 PDF、DOCX、CSV、XLSX、TXT 或仪器导出。
  • 文件来源,例如文献、项目、邮件、课程或实验。
  • 上传人、上传时间和文件夹位置。
  • 文件标签,例如 rawNMRHPLCpapersupporting-info
  • 访问权限和分享范围。

Extract 解析文档后会形成可检索片段。解析不是数据确认,只是让系统能定位页面、章节和文本块。

需要关注:

  • 文件格式是否被支持。
  • parse job 是否完成。
  • 解析后的 chunks 是否覆盖 Methods、Results、Supporting Information、tables 等高信息密度区域。
  • 失败文档是否需要换格式、重新上传或拆分。

AI Extraction 生成的是候选记录,不是最终事实。候选记录的价值在于提供结构化草稿和证据定位。

运行前应确认:

  • 项目和文档选择正确。
  • cost estimate 可接受。
  • plan limit 和 monthly usage limit 未超出。
  • 提取目标与文档内容匹配。

运行后应查看:

  • confidence。
  • evidence quote。
  • page number。
  • section。
  • raw value 和 normalized value。
  • validation warning。

审核是数据生命周期的质量控制点。未审核数据不应进入正式导出。

审核动作:

动作含义
approve记录可信,可进入正式数据集。
reject记录不应被使用。
correct字段需要人工修正后再使用。
unsure暂不确定,需要更多上下文或二次审核。

审核时应优先处理:

  • 高价值字段,例如化合物名、条件、单位、结果、产率、浓度。
  • 低 confidence 或有 validation warning 的记录。
  • 来源页码缺失、证据引用过短或字段归一化异常的记录。

导出是给下游分析、共享或存档使用的交付物。

默认导出范围:

  • approved records。
  • 明确项目或数据集。
  • 保留 source、page、section、evidence quote 和 confidence。

导出前检查:

检查项说明
数据范围是否只包含目标项目或目标文档。
审核状态是否排除了 pending、needs_review 和 rejected。
字段定义单位、名称和枚举值是否一致。
证据链是否保留可追溯字段。
文件格式CSV 适合表格,JSON 适合系统集成,XLSX 适合人工查看。

Notifications 应用于提醒,不应替代数据审核。

适合通知的事件:

  • 文件上传完成或失败。
  • 文档解析完成或失败。
  • AI extraction started / completed / failed。
  • review item created / approved / rejected。
  • export completed。
  • 管理员公告或产品更新。

需要正式沟通时,用 Mail 发送结果、附件或说明,并把关键文件放回 Files。

归档时要保证以后能复查“数据从哪里来、谁审核过、为什么可信”。

推荐归档内容:

  • 原始文件。
  • approved dataset。
  • 导出文件。
  • 审核记录。
  • 项目消息和关键邮件。
  • Dossier 或 Methods 中的结论说明。
  • 相关公开知识记录和 Molecule Studio 导出的结构文件或图片。