接入模型表單字段詳細說明

參數名稱參數說明
接入點名稱填寫接入點名稱
接入點描述描述接入模型的業務需求,如接入場景、用途(如測試、線上業務)等
接入模型可選擇【模型廣場】或【精調模型】中的模型進行接入選擇【模型廣場】中的模型后,需進一步選擇模型版本選擇【精調模型】中的模型后,需進一步選擇模型版本和 Checkpoint。當前僅支持基于豆包系列模型進行精調的模型
購買方式– 支持使用【按Token付費】、【按模型單元付費】2種模式

模型單元

什么是模型單元

模型單元是調用某個特定模型的 TPM(Token per Minite)配額。創建推理接入點選擇按模型單元付費后,用戶可以獲得比按 Token 付費更大的并發量,且無需再為 Token 消耗付費。模型單元付費方式為預付費。

建議購買模型單元場景

支持模型單元的模型

我們對Doubao系列模型與部分開源模型支持模型單元。支持范圍請參考產品計費

使用說明

目前支持在+ 創建推理接入 點配置算力保障時,進行購買模型單元,可以配置購買模型單元的數量、時長、是否自動續費。自動續費支持按照單次自動續費時長(按天)及自動續費次數(永久生效、自定義次數)自定義配置。

  1. 當前模型單元僅支持申請使用,如您希望使用模型單元,可參照前端提示提交工單,系統審批后可進行購買及數量配置。
  2. 預付費 TPM 配額到期自動終止,為避免續費不及時導致業務中斷,建議開通自動續費。
  3. 超過模型單元覆蓋的 TPM 配額的需求將被拒絕,如您有預期外的流量尖峰,您可以通過模型單元疊加按 Token 計費的模型推理接入點2種方式來支撐。

計費

  1. 使用模型單元創建完成的模型推理接入點,支持對模型單元進行增減購買、到期續費配置調整。7天內到期的模型單元會出現到期提醒。
  1. 模型單元計費會根據實際使用的模型單元數量、時長進行計費。因為是預付費,因此如果進行擴縮容的操作,也會對應有補款和退款。
  2. 模型單元到期提醒
  3. 模型單元到期時間說明
  1. 模型單元調整、續費、退訂

通過【模型推理】列表頁,找到需要調整的接入點,點擊右側的 ··· 可以進行調整模型單元、續費、退訂。

點擊續費按鈕,會跳轉到費用中心的續費管理頁面,可以進行續費操作

  1. 模型單元退訂

想要刪除買了模型單元的接入點,需要到費用中心退訂管理中操作模型單元退訂,退訂成功后,再進行接入點的刪除操作。

注意:因為模型單元是按實例組購買的,點擊接入點名稱詳情中復制的模型單元ID是實例組 ID,實例組存在強綁定關系,因此續費、退訂須同步發起。請注意,未到期的模型單元退訂會產生懲罰系數,無法100%退費。

獲取API Key

進入 API Key 管理 頁面,選擇需要的項目,點擊 創建 API Key,即可生成長效 API Key。all權限默認給予項目下所有模型接入點和智能體訪問權限。

四、基于SDK開發

4.1 Maven引入SDK

<dependency>
<groupId>com.volcengine</groupId>
<artifactId>volcengine-java-sdk-ark-runtime</artifactId>
<version>LATEST</version>
</dependency>

4.2 代碼實現

import com.volcengine.ark.runtime.model.completion.chat.ChatCompletionRequest;
import com.volcengine.ark.runtime.model.completion.chat.ChatMessage;
import com.volcengine.ark.runtime.model.completion.chat.ChatMessageRole;
import com.volcengine.ark.runtime.service.ArkService;

import java.util.ArrayList;
import java.util.List;

public class DouBaoDemo {

public static void main(String[] args) {

ArkService service = new ArkService("ARK_API_KEY");

System.out.println("\n----- 標準請求 -----");
final List<ChatMessage> messages = new ArrayList<>();
final ChatMessage systemMessage = ChatMessage.builder().role(ChatMessageRole.SYSTEM).content("你是豆包,是由字節跳動開發的 AI 人工智能助手").build();
final ChatMessage userMessage = ChatMessage.builder().role(ChatMessageRole.USER).content("請自我介紹?").build();
messages.add(systemMessage);
messages.add(userMessage);

ChatCompletionRequest chatCompletionRequest = ChatCompletionRequest.builder()
.model("${YOUR_ENDPOINT_ID}")
.messages(messages)
.build();

service.createChatCompletion(chatCompletionRequest).getChoices().forEach(choice -> System.out.println(choice.getMessage().getContent()));

System.out.println("\n----- 流請求 -----");
final List<ChatMessage> streamMessages = new ArrayList<>();
final ChatMessage streamSystemMessage = ChatMessage.builder().role(ChatMessageRole.SYSTEM).content("你是豆包,是由字節跳動開發的 AI 人工智能助手").build();
final ChatMessage streamUserMessage = ChatMessage.builder().role(ChatMessageRole.USER).content("請自我介紹?").build();
streamMessages.add(streamSystemMessage);
streamMessages.add(streamUserMessage);

ChatCompletionRequest streamChatCompletionRequest = ChatCompletionRequest.builder()
.model("${YOUR_ENDPOINT_ID}")
.messages(streamMessages)
.build();

service.streamChatCompletion(streamChatCompletionRequest)
.doOnError(Throwable::printStackTrace)
.blockingForEach(
choice -> {
if (choice.getChoices().size() > 0) {
System.out.print(choice.getChoices().get(0).getMessage().getContent());
}
}
);
service.shutdownExecutor();
}
}

上一篇:

利用Python語言調用訊飛星火認知大模型接口實戰指南

下一篇:

利用Python調用百度千帆大模型接口實戰指南
#你可能也喜歡這些API文章!

我們有何不同?

API服務商零注冊

多API并行試用

數據驅動選型,提升決策效率

查看全部API→
??

熱門場景實測,選對API

#AI文本生成大模型API

對比大模型API的內容創意新穎性、情感共鳴力、商業轉化潛力

25個渠道
一鍵對比試用API 限時免費

#AI深度推理大模型API

對比大模型API的邏輯推理準確性、分析深度、可視化建議合理性

10個渠道
一鍵對比試用API 限時免費