国产区在线观看,黄色美容院在线观看,国产欧美另类久久久精品免费

LM Studio的核心功能包括發(fā)現(xiàn)、下載和運行本地LLMs。用戶可以通過直觀的圖形界面輕松下載并加載各種模型。其廣泛支持的模型庫包括HuggingFace上的ggml Llama、MPT和StarCoder模型（如Llama 2、Orca、Vicuna等）。

1、使用LM Studio的特點

LM Studio的主要優(yōu)勢在于其完全脫機的操作模式。用戶可以在筆記本電腦上運行LLM，而無需持續(xù)的網(wǎng)絡(luò)連接。這使得它在隱私和數(shù)據(jù)安全方面具有顯著優(yōu)勢。此外，LM Studio允許用戶通過應(yīng)用內(nèi)的聊天界面或OpenAI兼容的本地服務(wù)器使用模型，極大地提高了操作的靈活性。

2、支持的平臺：最低硬件/軟件要求

為了在不同平臺上運行，LM Studio對硬件和軟件有一定的要求。它支持M1/M2/M3系列的Mac，以及支持AVX2指令集的Windows PC和Linux測試版。建議至少配備16GB的RAM和6GB的VRAM，以確保最佳性能。支持的系統(tǒng)包括Windows (x86, x64, AVX2)、macOS (Apple Silicon – M1/M2/M3)和Linux (x86, Ubuntu 22.04, AVX2)。

LM Studio的安裝和使用方法

1、LM Studio服務(wù)器：通過運行在localhost上的OpenAI風格的HTTP服務(wù)器使用本地LLM

用戶可以通過在本地主機上運行的API服務(wù)器訪問LM Studio中的LLM。請求和響應(yīng)格式均遵循OpenAI的API標準。要使用本地服務(wù)器，用戶需首先安裝LM Studio，然后從應(yīng)用程序中搜索并下載所需的LLM模型。

支持的端點

GET /v1/models

POST /v1/chat/completions

POST /v1/embeddings

POST /v1/completions

其中，POST /v1/embeddings是LM Studio 0.2.19中的新功能。

使用本地服務(wù)器

如果尚未安裝LM Studio，請從官方網(wǎng)站獲取應(yīng)用程序安裝程序。
從應(yīng)用程序中搜索并下載LLM，例如TheBloke/Mistral-7B-Instruct-v0.2-GGUF。
進入本地服務(wù)器選項卡，選擇下載的LLM。
點擊“啟動服務(wù)器”按鈕，啟動服務(wù)器。

您的LM Studio現(xiàn)在已準備好接受API請求。

檢查當前加載的模型

curl http://localhost:1234/v1/models

響應(yīng)示例

在如下示例中，TheBloke/phi-2-GGUF和lmstudio-ai/gemma-2b-it-GGUF模型已加載。

{

  "data": [

    {

      "id": "TheBloke/phi-2-GGUF/phi-2.Q4_K_S.gguf",

      "object": "model",

      "owned_by": "organization-owner",

      "permission": [{}]

    },

    {

      "id": "lmstudio-ai/gemma-2b-it-GGUF/gemma-2b-it-q4_k_m.gguf",

      "object": "model",

      "owned_by": "organization-owner",

      "permission": [{}]

    }

  ],

  "object": "list"

}

進行推斷請求

在本地服務(wù)器上發(fā)起推斷請求，需使用OpenAI的“Chat Completions”格式。

curl http://localhost:1234/v1/chat/completions \

-H "Content-Type: application/json" \

-d '{ 

  "messages": [

    { "role": "system", "content": "You are a helpful coding assistant." },

    { "role": "user", "content": "How do I init and update a git submodule?" }

  ],

  "temperature": 0.7,

  "max_tokens": -1,

  "stream": true

}'

2、文本嵌入：使用LM Studio的嵌入服務(wù)器本地生成文本嵌入

文本嵌入是將文本轉(zhuǎn)換為數(shù)字向量的一種方法，廣泛應(yīng)用于RAG（檢索增強生成）應(yīng)用程序中。LM Studio的嵌入服務(wù)器支持生成文本嵌入，用戶可通過POST /v1/embeddings端點獲取。

示例請求

假設(shè)服務(wù)器在端口1234上運行，支持字符串和字符串數(shù)組作為輸入類型。

curl http://localhost:1234/v1/embeddings \

-H "Content-Type: application/json" \

-d '{

  "input": "Your text string goes here",

  "model": "model-identifier-here"

}'

示例回應(yīng)

{

  "object": "list",

  "data": [

    {

      "object": "embedding",

      "embedding": [-0.005118194036185741, -0.05910402536392212, ...],

      "index": 0

    }

  ],

  "model": "nomic-ai/nomic-embed-text-v1.5-GGUF/nomic-embed-text-v1.5.Q5_K_M.gguf",

  "usage": {

    "prompt_tokens": 0,

    "total_tokens": 0

  }

}