Skip to content

Releases: dataelement/bisheng

v0.3.7.dev1

28 Oct 10:26
3e6aa67
Compare
Choose a tag to compare
  1. 新增数据标注功能

v0.3.6.dev1

13 Oct 14:25
bef1878
Compare
Choose a tag to compare
  1. 新增 QA 知识库:支持手动添加 QA 和相似问题到 QA 知识库。QA 知识库可用于双路径问答应用搭建,或者微调数据集构建等场景。
  2. 支持会话内容数据标注回流:支持在审计中对应用的历史会话内容进行标注,添加 QA 或相似问题 到 QA 知识库,持续优化问答应用效果。
  3. 新增数据集管理:支持从本地导入或从 QA 知识库导入 2种方式创建数据集,用于模型微调训练。

v0.3.5.dev1

14 Sep 15:53
86a8981
Compare
Choose a tag to compare

BISHENG 0.3.5 dev1 版

  1. 新增知识库分段管理功能:支持预览文档分段结果,支持对照原文件修改分段结果,分段结果支持搜索、删除等管理功能(在部署 OCR SDK 情况下,支持通过在原文件上圈选文本框来快速修改分段内容,需要使用SDK 2.4.3版本)>>知识库
    飞书20240914-234751

  2. 知识库文档支持自定义正则表达式切分策略,支持通过正则设置“第x章”、“第x条”等具有语义属性的切分策略。

  3. 助手/技能增加对外发布页面:支持快速复制调用接口的代码、发布为独立页面以及嵌入到第三方网站中。>>发布助手:API 接口、独立页面以及嵌入到第三方网站发布技能

20240914-235019
20240914-235054

  1. 当前除了调用助手与技能的接口,还提供了知识库相关接口,对该接口进行了升级,修复通过接口创建的知识库在角色授权列表不可见问题。升级后旧接口将失效,更新后的接口文档>>接口文档
    known issue:
  • 目前 OCR SDK 2.4.3 版本默认配置对于英文扫描文档识别解析时不会返回英文空格,如关注此类场景的朋友,可联系我们获取修改配置的方法。
  • Markdown无法表达合并单元格,所以对于有合并单元格的表格在切分结果的展示时有问题(OCR SDK表格识别的效果体验:https://www.dataelem.com/example/view?type=table 使用方法见下图),目前正在讨论方案,对于表格后面可能会选择html或latex等方式表示(需要同时考虑对大模型问答效果的影响,有经验的朋友欢迎贡献建议)。

飞书20240914-235135

v0.3.4

02 Sep 16:08
fef4683
Compare
Choose a tag to compare
  1. 增加 BishengEmbedding 组件:可快速选择模型管理中的 embedding 模型,无需重复填写模型地址和 key。
  2. 支持 OCR SDK 2.4.2 版本,知识库问答中溯源、版式分析能力回归
  3. 修复 uns 模块 bug 导致文件解析为空的问题
  4. 修复系统模型设置-知识库模型必填导致的上传文件报错问题
  5. 修复之前版本其他若干问题

v0.3.4.dev3

24 Aug 03:22
987ccbe
Compare
Choose a tag to compare
  1. 解决新建助手时默认模型与配置不符问题
  2. 解决docx解析时提示 nltk 依赖缺失的问题
  3. 修复xinference、minimax 服务提供方bug

v0.3.4.dev2

20 Aug 11:41
Compare
Choose a tag to compare

修复xinference的模型实例化报错问题

v0.3.4.dev1

19 Aug 06:38
Compare
Choose a tag to compare

BISHENG 0.3.4 dev1 版来啦~

  1. 模型管理功能全面升级改造>>模型管理(模型管理)
    a. 兼容多种推理框架:正式支持主流开源 LLM 推理框架(ollama/llamacpp/xinference/vllm)部署模型及在线模型快速接入,并提供模型上下线操作和单日调用量控制能力。
    b. 系统配置大幅简化:知识库、助手、评测等功能所依赖的模型可在模型管理中进行可视化配置,内置工具(Dalle3绘画、Bing 搜索、天眼查)秘钥在工具页面中进行可视化配置。
    c. 基于以上功能,大幅简化了部署和配置使用毕昇的步骤,部署文档也变得格外清爽:私有化部署(私有化部署)
  2. bisheng-unstructured组件变更为非必须部署,简化部署流程,并且新增对 OCR SDK 的支持(替换原RT中的闭源模型提供文档解析模型的推理服务)。
  3. 增加 BishengLLM 组件: 可快速选择模型管理中已接入的 LLM,无需重复填写模型地址和 key>>BishengLLM(BishengLLM)
    注:鉴于市面上已经存在 Ollama 等一批优秀的开源推理框架,与 bisheng-rt 模块功能存在部分重合,从0.3.4 版本开始,建议各位开发者使用上述开源框架进行各类模型(LLM、Embedding、Rerank)部署,bisheng-rt中闭源模型的能力未来将由 OCR-SDK 替代(本次dev1版本使用OCR SDK暂无法实现知识库问答溯源,一周后的Release版将支持,继续使用RT仍可以进行知识库问答溯源)。
    对于暂时不想替换bisheng-rt的用户,可以继续使用,我们提供了相应升级方案,详见:版本升级注意事项(版本升级注意事项)

v0.3.3.dev2 发布

04 Aug 16:31
ca74a45
Compare
Choose a tag to compare

BISHENG 0.3.3 dev2 版

  • 支持应用发布为需登录链接:支持通过需登录链接使用单个应用,适合企业内单应用嵌入场景>>发布助手: API 、免登录/需登录链接、发布技能
  • 应用支持标签分类及筛选。
  • 应用头像支持手动配置。
  • QAgenerationchainV2 组件升级:支持自定义 question 和 answer 生成逻辑,放开更多 QA 生成相关参数。>>QAGenerationChainV2
  • BishengretreivalQA 组件支持溯源功能。
  • 导航栏支持隐藏 Github 和 帮助文档 icon >>Logo与产品名修改方法指南

v0.3.2.1

03 Jul 11:17
b4ab640
Compare
Choose a tag to compare
  1. 批量上传文件导致的审计日志记录失败
  2. 修复接口创建知识库的报错问题
  3. 修复删除用户组时清理资源报错问题
  4. 修复删除用户组时和闭源网关未同步的问题
  5. 修复评测结果https下载失败的问题

v0.3.2

28 Jun 14:54
cb619b4
Compare
Choose a tag to compare

BISHENG 0.3.2 release 版
用户组及用户组管理功能:支持将用户归属为不同用户组,进而实现组内用户和角色管理、用户组流量控制以及组内审计等功能。

用户、用户组和角色管理
审计功能:实现对会话、应用构建、知识库、系统管理等用户操作行为的审计。
审计
端到端评测功能:选择要评测的助手/技能,上传 QA 测试集,利用大模型作为裁判,给出助手/技能评测结果(precision、recall、F1)
助手/技能评测
菜单、工具授权:可根据角色设置用户菜单可见范围和工具使用权限。
增加 MilvusWithPermissionCheck、ESWithPermissionCheck 组件:可以选择多个知识库,并根据用户的知识库使用权限进行检索。
增加 QAgenerationchainV2 组件:根据上传文档,自动生成 QA 对。
QAGenerationChainV2
增加 BishengRetrievalQA 组件:集成毕昇 RAG 算法优化策略,提高知识库问答效果。
BishengRetrievalQA
安全策略升级:根据等保要求全面加强密码和登录安全策略,可支持设置密码有效期限、最大输入密码错误次数。
解决若干历史遗留缺陷,优化部分交互体验:自定义工具 post 方法创建失败问题、大模型回复溯源展示为空问题、增加知识库文件上传时格式兼容处理、优化上传文件解析过程的中文提示、同一个 chatID 内可查看历史会话内容等