聆思平台提供了一种非常便捷的应用构建方式,支持开发者在线进行可视化的应用编排,完成大模型应用开发和部署。同时,聆思大模型平台还提供了Web应用分享功能,让开发者能够轻松共享他们的Web应用,以便他人能够访问和测试这些应用。
点击应用
模块中的创建应用
按钮。选择在线编排
类型,并给应用命名。
打开刚创建应用,点击编排应用
进入可视化应用编排界面。
在线编排界面可分为以下三部分:
从节点栏拖出对话入口
、提示词
、星火大模型
、流程结束
四个节点到编排区,并按照下图连接节点。
双击星火大模型
节点,在展开的配置页面可以根据你的产品需求调整模型默认参数。
相关属性详情如下表所示:
名称 | 类型 | 说明 | 是否必填 | 默认值 | 备注 |
---|---|---|---|---|---|
tokens最大值 | int | 回答的tokens的最大长度 | 否 | 1024 | 最小值是1,最大值是4096 |
temperature | float | 核采样阈值 | 否 | 0.1 | 最小值是0.1,最大值是1 |
top_k | int | 从k个中随机选择一个(非等概率) | 否 | 4 | 最小值是1,最大值是6 |
流式返回 | bool | 是否以流式输出 | 否 | 不勾选 | - |
双击提示词
节点,在展开的配置页写入你的提示词模板,如下图所示:
提示词模板需要包含{{content}}用来标志用户输入的内容。
完成节点编排后,即可进行应用部署。点击页面右上角的部署
按钮,将应用部署到测试环境中。
返回聆思平台,点击部署生产
按钮,将应用部署到生产环境中。
应用成功运行后,点击分享
按钮即可生成Web应用链接。
生产环境
下的Web链接是正式环境(生产环境)中运行的应用。
开发者可以在测试环境下测试进行节点开发,无需担心影响正式环境中应用正常运行。
聆思平台提供测试环境和正式环境的请求地址方便开发者用CURL、Postman或其他指令/工具请求。
CURL请求模板如下,对话内容在messages中构建。
curl --location 'https://service.listenai.com/{替换为你的应用id}/app-service/chat/completions' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer YOUR_REQUEST_TOKEN' \
--data '{
"uid": "123",
"stream": false,
"messages": [
{
"role": "user",
"content": "请给我国土面积排名前十的国家"
}
]
}'
如果在应用编排入口节点改变了对话入口的URL则需根据新URL构建请求体。