feature: 4.10.1 (#5201)

* add dynamic inputRender (#5127)

* dynamic input component

* fix

* fix

* fix

* perf: dynamic render input

* update doc

* perf: error catch

* num input ui

* fix form render (#5177)

* perf: i18n check

* add log

* doc

* Sync dataset  (#5181)

* perf: api dataset create (#5047)

* Sync dataset (#5120)

* add

* wait

* restructure dataset sync, update types and APIs, add sync hints, and remove legacy logic

* feat: add function to retrieve real file ID from third-party doc library and rename team permission check function for clarity

* fix come console

* refactor: rename team dataset limit check functions for clarity, update API dataset sync limit usage, and rename root directory to "ROOT_FOLDER"

* frat: update sync dataset login

* fix delete.ts

* feat: update pnpm-lock.yaml to include bullmq, fix comments in api.d.ts and type.d.ts, rename API file ID field, optimize dataset sync logic, and add website sync feature with related APIs

* feat: update CollectionCard to support site dataset sync, add API root ID constant and init sync API

* feat: add RootCollectionId constant to replace hardcoded root ID

---------

Co-authored-by: dreamer6680 <[email protected]>

* perf: code

* feat: update success message for dataset sync, revise related i18n texts, and optimize file selection logic (#5166)

Co-authored-by: dreamer6680 <[email protected]>

* perf: select file

* Sync dataset (#5180)

* feat: update success message for dataset sync, revise related i18n texts, and optimize file selection logic

* fix: make listfile function return rawid string

---------

Co-authored-by: dreamer6680 <[email protected]>

* init sh

* fix: ts

---------

Co-authored-by: dreamer6680 <[email protected]>
Co-authored-by: dreamer6680 <[email protected]>

* update doc

* i18n

---------

Co-authored-by: heheer <[email protected]>
Co-authored-by: dreamer6680 <[email protected]>
Co-authored-by: dreamer6680 <[email protected]>

Author: 4 people

docSite/content/zh-cn/docs/development/upgrading/4101.md

@@ -7,16 +7,48 @@ toc: true
 weight: 784
 ---
 
+## 更新指南
 
-## 🚀 新增内容
+### 1. 更新镜像：
 
+- 更新 FastGPT 镜像 
+- 更新 FastGPT 商业版镜像 
+- 更新 fastgpt-plugin 镜像
+- mcp_server 无需更新
+- Sandbox 无需更新
+- AIProxy 无需更新
+
+### 2. 执行升级脚本
+
+该脚本仅需商业版用户执行。
+
+从任意终端，发起 1 个 HTTP 请求。其中 {{rootkey}} 替换成环境变量里的 `rootkey`；{{host}} 替换成**FastGPT 域名**。
+
+```bash
+curl --location --request POST 'https://{{host}}/api/admin/initv4101' \
+--header 'rootkey: {{rootkey}}' \
+--header 'Content-Type: application/json'
+```
+
+- 给自动同步的知识库加入新的定时任务。
 
 ## ⚙️ 优化
 
-1. 定时任务报错日志记录到对话日志
+1. 定时任务报错日志记录到对话日志。
+2. 封装应用动态form渲染组件。
+3. 商业版第三方知识库定时同步，支持全量同步，可以同步整个目录。
+4. 目录面包屑导航溢出省略。
 
 ## 🐛 修复
 
-1. 搜索类型系统工具无法正常显示
-2. 部分系统工具向下兼容问题
+1. 搜索类型系统工具无法正常显示。
+2. 部分系统工具向下兼容问题。
 3. AI 节点，手动选择历史记录时，会导致 system 记录重复。
+4. 知识库 tag 无法滚动到底。
+
+## 🔨 工具更新
+
+1. 新增 Flux 官方绘图工具。
+2. 新增 JinaAI 工具集。
+3. 新增阿里百炼 Flux 和通义万相绘图。
+4. 纠正硅基流动画图工具输出值类型。

docSite/content/zh-cn/docs/development/upgrading/4913.md

@@ -32,4 +32,4 @@ weight: 787
 1. 对话日志，日期范围选择问题。
 2. API 调用时，传入的 system 提示词可能会重复。
 3. AI 对话/工具调用，未选择文件链接时，也会从历史记录读取文件。
-4. 手动更新知识库索引时，错误的删除旧索引，导致手动索引无效。
+4. 手动更新知识库索引时，错误的删除旧索引，导致手动索引无效。

docSite/content/zh-cn/docs/guide/knowledge_base/api_dataset.md

@@ -46,6 +46,7 @@ type FileListItem = {
   parentId: string  //也可能为 null 或者 undefined 类型;
   name: string;
   type: 'file' | 'folder';
+  hasChild?: boolean; // 是否有子文档（folder 强制为 true）
   updateTime: Date;
   createTime: Date;
 }
@@ -89,6 +90,7 @@ curl --location --request POST '{{baseURL}}/v1/file/list' \
             "id": "xxxx",
             "parentId": "xxxx",
             "type": "file",  // file | folder
+            "hasChild": true, // 是否有子文档（folder 会强制为 true）
             "name":"test.json",
             "updateTime":"2024-11-26T03:05:24.759Z",
             "createTime":"2024-11-26T03:05:24.759Z"
@@ -210,9 +212,13 @@ curl --location --request GET '{{baseURL}}/v1/file/detail?id=xx' \
     "success": true,
     "message": "",
     "data": {
-        "id": "docs",
-        "parentId": "",
-        "name": "docs"
+        "id": "xxxx",
+        "parentId": "xxxx",
+        "type": "file",  // file | folder
+        "hasChild": true, // 是否有子文档（folder 会强制为 true）
+        "name":"test.json",
+        "updateTime":"2024-11-26T03:05:24.759Z",
+        "createTime":"2024-11-26T03:05:24.759Z"
     }
 }
 ```

docSite/content/zh-cn/docs/guide/knowledge_base/third_dataset.md

@@ -45,14 +45,15 @@ export type YuqueServer = {
 
 ### 2. 创建 Hook 文件
 
-每个第三方文档库都会采用 Hook 的方式来实现一套 API 接口的维护，Hook 里包含 4 个函数需要完成。
+每个第三方文档库都会采用 Hook 的方式来实现一套 API 接口的维护，Hook 里包含 5 个函数需要完成。
 
 - 在`FastGPT\packages\service\core\dataset\apiDataset\`下创建一个文档库的文件夹，然后在文件夹下创建一个`api.ts`文件
-- 在`api.ts`文件中，需要完成 4 个函数的定义，分别是：
+- 在`api.ts`文件中，需要完成 5 个函数的定义，分别是：
   - `listFiles`：获取文件列表
   - `getFileContent`：获取文件内容/文件链接
   - `getFileDetail`：获取文件详情信息
   - `getFilePreviewUrl`：获取原文预览地址
+  - `getFileId`: 获取原文件真实Id
 
 ### 3. 添加知识库类型
 

packages/global/common/string/time.ts

@@ -97,8 +97,10 @@ export const getNextTimeByCronStringAndTimezone = ({
     };
     const interval = cronParser.parseExpression(cronString, options);
     const date = interval.next().toString();
+
     return new Date(date);
   } catch (error) {
-    return new Date('2099');
+    console.log('getNextTimeByCronStringAndTimezone error', error);
+    return new Date();
   }
 };

packages/global/core/app/jsonschema.ts

@@ -17,7 +17,7 @@ export type JSONSchemaInputType = {
   required?: string[];
 };
 
-const getNodeInputTypeFromSchemaInputType = ({
+export const getNodeInputTypeFromSchemaInputType = ({
   type,
   arrayItems
 }: {

packages/global/core/dataset/api.d.ts

@@ -13,6 +13,7 @@ import type {
   ParagraphChunkAIModeEnum
 } from './constants';
 import type { ParentIdType } from '../../common/parentFolder/type';
+import type { APIFileItemType } from './apiDataset/type';
 
 /* ================= dataset ===================== */
 export type DatasetUpdateBody = {
@@ -57,6 +58,7 @@ export type CreateDatasetCollectionParams = DatasetCollectionStoreDataType & {
   externalFileId?: string;
   externalFileUrl?: string;
   apiFileId?: string;
+  apiFileParentId?: string; //when file is imported by folder, the parentId is the folderId
 
   rawTextLength?: number;
   hashRawText?: string;
@@ -65,7 +67,6 @@ export type CreateDatasetCollectionParams = DatasetCollectionStoreDataType & {
 
   createTime?: Date;
   updateTime?: Date;
-  nextSyncTime?: Date;
 };
 
 export type ApiCreateDatasetCollectionParams = DatasetCollectionStoreDataType & {
@@ -83,6 +84,9 @@ export type ApiDatasetCreateDatasetCollectionParams = ApiCreateDatasetCollection
   name: string;
   apiFileId: string;
 };
+export type ApiDatasetCreateDatasetCollectionV2Params = ApiCreateDatasetCollectionParams & {
+  apiFiles: APIFileItemType[];
+};
 export type FileIdCreateDatasetCollectionParams = ApiCreateDatasetCollectionParams & {
   fileId: string;
 };
@@ -139,7 +143,7 @@ export type PushDatasetDataChunkProps = {
   indexes?: Omit<DatasetDataIndexItemType, 'dataId'>[];
 };
 
-export type PostWebsiteSyncParams = {
+export type PostDatasetSyncParams = {
   datasetId: string;
 };
 

packages/global/core/dataset/apiDataset/type.d.ts

@@ -1,8 +1,9 @@
 import { RequireOnlyOne } from '../../../common/type/utils';
 import type { ParentIdType } from '../../../common/parentFolder/type';
 
-export type APIFileItem = {
+export type APIFileItemType = {
   id: string;
+  rawId: string;
   parentId: ParentIdType;
   name: string;
   type: 'file' | 'folder';
@@ -36,8 +37,6 @@ export type ApiDatasetServerType = {
 
 // Api dataset api
 
-export type APIFileListResponse = APIFileItem[];
-
 export type ApiFileReadContentResponse = {
   title?: string;
   rawText: string;
@@ -47,8 +46,4 @@ export type APIFileReadResponse = {
   url: string;
 };
 
-export type ApiDatasetDetailResponse = {
-  id: string;
-  name: string;
-  parentId: ParentIdType;
-};
+export type ApiDatasetDetailResponse = APIFileItemType;

packages/global/core/dataset/collection/constants.ts

@@ -4,3 +4,5 @@ export enum CollectionSourcePrefixEnum {
   link = 'link',
   external = 'external'
 }
+
+export const RootCollectionId = 'SYSTEM_ROOT';

packages/global/core/dataset/type.d.ts

@@ -106,13 +106,13 @@ export type DatasetCollectionSchemaType = ChunkSettingsType & {
 
   // Status
   forbid?: boolean;
-  nextSyncTime?: Date;
 
   // Collection metadata
   fileId?: string; // local file id
   rawLink?: string; // link url
   externalFileId?: string; //external file id
   apiFileId?: string; // api file id
+  apiFileParentId?: string;
   externalFileUrl?: string; // external import url
 
   rawTextLength?: number;