聆思平台提供了一种非常便捷的应用构建、部署方式,支持开发者在线进行可视化的应用编排。同时,聆思大模型平台还提供了Web应用分享功能,让开发者能够轻松共享他们的Web应用,以便他人能够访问和使用这些应用。
点击应用
模块中的创建应用
按钮。选择内部应用,并给应用命名。
点击在线编排
。
点击编排应用
进入可视化应用编排界面。
在线编排界面可分为以下三部分:
从节点栏拖出对话入口
、星火大模型
、流程结束
三个节点到编排区,并按照下图连接节点。
点击星火大模型
节点,在API KEY配置 -> LSPLATFORM_API_KEY处填入的平台生成的密钥后模型就可以部署了。
你也可以根据需求编写节点的属性,属性详情如下表所示:
名称 | 类型 | 说明 | 是否必填 | 默认值 | 备注 |
---|---|---|---|---|---|
tokens最大值 | int | 回答的tokens的最大长度 | 否 | 1024 | 最小值是1,最大值是4096 |
temperature | float | 核采样阈值 | 否 | 0.1 | 最小值是0.1,最大值是1 |
top_k | int | 从k个中随机选择一个(非等概率) | 否 | 4 | 最小值是1,最大值是6 |
提示词 | string | 简单的提示词设定 | 否 | '' | 在提示工程将进行更详细介绍 |
API KEY | string | 平台密钥 | 是 | - | 获取方法请见此处 |
流式返回 | bool | 是否以流式输出 | 否 | 不勾选 | - |
点击在线编排板块右上角的部署
按钮,将应用部署到测试环境中。
返回聆思平台,点击部署生产
按钮,将应用部署到生产环境中。
应用成功运行后,点击分享
按钮即可生成Web应用链接。
生产环境
下的Web链接是正式环境(生产环境)中运行的应用。
开发者可以在测试环境下测试新的应用编排,无需担心正式环境(生产环境)中应用的正常运行。如接下来的例子改变了测试环境的应用编排,增加了星火大模型的提示词。
此时正式环境(生产环境)的Web应用链接对话如下:
测试环境的Web分享链接对话如下:
聆思平台提供测试环境和正式环境(生产环境)的请求地址方便开发者用CURL、Postman或其他指令/工具请求。
CURL请求模板如下,对话内容在messages中构建。
curl --location 'https://service.listenai.com/xxxxxxxx/app-service/chat/completions' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer YOUR_REQUEST_TOKEN' \
--data '{
"uid": "123",
"stream": false,
"messages": [
{
"role": "user",
"content": "请给我国土面积排名前十的国家"
}
]
}'
如果改变了对话入口的URL则需根据新URL构建请求体。