¶ 大模型应用平台开发说明
聆思大模型平台提供了便捷的部署方式，以支持开发者部署大模型应用和共享Web应用。平台提供了内部应用部署，使开发者可以将应用程序部署在平台服务器上。此外，我们还提供了外部应用配置选项，让开发者能够在外部环境中部署和管理应用程序。同时，聆思大模型平台还提供了Web应用分享功能，让开发者能够轻松共享他们的Web应用，以便他人能够访问和使用这些应用。
- 内部应用 使用Serverless架构将应用部署在平台上，平台自动根据实际需求动态分配资源，自动扩展和缩减应用程序的计算能力。
- 外部应用 通过Webhook通信机制配置应用，通过平台调用部署在自己的服务器上的大模型应用。
- 应用分享 将部署于聆思大模型平台的内部/外部应用分享他人访问。
¶ 内部应用
¶ 内置环境
¶ 内置以下编程语言版本。
- Python 3.7.4
- Node.js 10.16.2
- OpenJDK 1.8.0
- Ruby 2.7
- Nginx 1.10.3
- PHP 7.4.12
¶ 支持的最大内存：
128MB
¶ 示例sample
- 下载地址（基于nodejs）:
topic_talker_v1.zip
¶ sample使用方式
¶ 目录结构：
- node_moduels：这个目录包含了 Node.js sample 在执行
npm install时自动生成，里面包含了所需的所有第三方依赖库和模块。 - package-lock.json：该文件是 Node.js sample 在执行
npm install时自动生成，用于记录当前项目使用的每个模块的精确版本号，以及它们之间的依赖关系。 - package.json ：该文件是 Node.js 项目的配置文件，当前sample中主要包含项目所依赖的第三方模块及其版本范围。
- server.js：用于启动 Node.js 服务的文件。它包含了应用程序的主要逻辑和配置。
- start.sh：平台内部应用的启动脚本，在进行内部应用部署时，会运行该脚本。
¶ 开发指引：
只需关注 server.js 中的逻辑处理，目前该sample已经内置好一些必要的依赖库和配置，能满足基础的应用分享。
在应用分享时，这两个API分别用在参数表单，对话的调用。
¶ 参数表单API
¶ 调用method
GET
¶ 对话页中，请求该API时的参数
无
¶ 该API所需实现的response
在应用分享后的对话页中，若需要用户提供一些前置的参数，如截图中的表单。对应代码中/chat/params_form的定义，以下为实现该API时，所需response的样例：
{
"name": {
"format": "input",
"title": "名字",
"type": "string",
"required": true
},
"topic": {
"format": "select",
"title": "话题",
"type": "string",
"required": true,
"enum": [{
"name": "电影",
"value": "film"
}, {
"name": "运动",
"value": "sport"
}, {
"name": "美食",
"value": "food"
}],
"default": "film"
}
}
- 解析：
| 参数 | 类型 | 描述 | 必填 | 备注 |
|---|---|---|---|---|
| format | string | 该参数在表单呈现方式 | 是 | 可选: input 、select 。input为文本输入框，select为下拉选择框 |
| title | string | 该参数在表单呈现的标题 | 是 | - |
| type | string | 该参数的值传入格式 | 是 | - |
| required | boolean | 该参数在表单中是否为必填 | 否 | - |
| default | string | 该参数在表单中的默认值 | 否 | - |
| enum | array | 下拉选择框的可选值 | - | 当format为select时必填 |
| item.name | string | 下拉选择框可选元素的展示名 | 是 | - |
| item.value | string | 下拉选择框可选元素的实际值 | 是 | - |
当用户在对话页填好所需参数的值后，会生成一个参数的json数据，在后续的调用会带上，按上述样例，当用户填了名字和选择了话题后，会生成该数据结构:
{
"name": "mark",
"topic": "sport"
}
¶ 对话API
对话API会在用户进行对话时，调用进来。
¶ 调用method
POST
¶ 对话页中，请求该API时的参数
| 参数 | 类型 | 描述 | 备注 |
|---|---|---|---|
| uid | string | 用户session | 该值在对话页中，为浏览器session |
| stream | boolean | 是否需要流式返回大模型交互结果 | 该值在对话页中，固定为true |
| inputs | object | 用户的参数 | - |
| messages | array | 会话和提问 | 跟模型对话调用中的messages一致 |
示例：
{
"uid": "b0cfd8e5-9639-aebca170e880",
"messages": [
{
"role": "user",
"content": "你好啊"
}
],
"stream": true,
"inputs": {
"name": "猪猪侠",
"topic": "food"
}
}
¶ 实现处理
可根据请求参数，按当前应用想实现的逻辑，生成模型对话接口所需的请求body，并进行模型对话接口的调用转发即可。具体例子可参考示例sample。
示例sample中已做了些基础的功能实现：
-
保留n轮对话记录进行实际模型对话请求
根据实际应用场景，进行二次修改，只需要更改n的数值即可。 -
prompt的拼接
根据实际应用场景，进行二次修改，只需更改对应prompt内容，其中用户参数均为请求体中的inputs字段，所包含的字段跟当前应用实现的参数表单一致。
另外 content 为实际用户这次的请求文本。
如上述的请求body示例，最终的prompt为:
我的名字叫 猪猪侠 , 我们来进行关于 food 的对话。
这是我的对话内容: 你好啊 。
请你基于上述场景继续我们的对话。
对话页展示返回：
¶ 该API所需实现的response
response的格式，与模型对话接口保持一致。
¶ 应用部署
¶ 创建应用
点击右上角的创建应用按钮，构建方式选择内部应用。
¶ 上传应用
点击浏览按钮，将配置好的应用上传。
¶ 运行应用
完成应用上传后，点击部署运行按钮即可。
¶ 外部应用
¶ 配置方式
¶ ParamsForm API
该API 在对话页中的请求body，以及所需实现的response格式，实现与上述内部应用的 参数表单API 保持一致。
¶ Chat API
该API 在对话页中的请求body，以及所需实现的response格式，实现与上述内部应用的 对话API 保持一致。
¶ 应用部署
¶ 创建应用
点击右上角的创建应用按钮，构建方式选择外部应用。
¶ 配置接口
在API处配置对应的内容
¶ 生效配置
完成保存后，外部应用已经完成配置
¶ 应用分享
¶ 分享应用
点击应用右上角的分享按钮
¶ 启用分享
在分享框中启用分享功能，点击打开按钮即可打开共享的Web应用
¶ 参数填写
如果您配置了参数表单API，则会弹出信息框，请输入交互过程中所需要的信息
¶ 交互对话
完成参数配置后，即可开启对话。
