## 四、大語言模型核心問題:偏差和局限性
大語言模型偏差和局限性是自然語言處理(NLP)領域正在進行的研究。雖然大語言模型在生成類人文本方面表現出了卓越的能力,但他們很容易繼承和放大訓練數據中存在的偏見。這可能表現為對不同人口統計數據的不公平待遇,例如基于種族、性別、語言和文化群體的統計數據。此外,這些模型通常面臨事實準確性的限制。研究和緩解這些偏見和限制對于人工智能在不同社會和專業領域的道德發展和應用至關重要。
以ChatGLM、LLaMA等平民玩家都能跑起來的較小規模的LLM開源之后,業界涌現了非常多基于LLM的二次微調或應用的案例,常見底座模型細節概覽:
底座 | 包含模型 | 模型參數大小 | 訓練token數 | 訓練最大長度 | 是否可商用 |
---|---|---|---|---|---|
ChatGLM | ChatGLM/2/3 Base&Chat | 6B | 1T/1.4 | 2K/32K | 可商用 |
LLaMA | LLaMA/2/3 Base&Chat | 7B/8B/13B/33B/70B | 1T/2T | 2k/4k | 部分可商用 |
Baichuan | Baichuan/2 Base&Chat | 7B/13B | 1.2T/1.4T | 4k | 可商用 |
Qwen | Qwen/1.5 Base&Chat | 7B/14B/72B/110B | 2.2T/3T | 8k/32k | 可商用 |
BLOOM | BLOOM | 1B/7B/176B-MT | 1.5T | 2k | 可商用 |
Aquila | Aquila/2 Base/Chat | 7B/34B | – | 2k | 可商用 |
InternLM | InternLM/2 Base/Chat/Code | 7B/20B | – | 200k | 可商用 |
Mixtral | Base&Chat | 8x7B | – | 32k | 可商用 |
Yi | Base&Chat | 6B/9B/34B | 3T | 200k | 可商用 |
DeepSeek | Base&Chat | 1.3B/7B/33B/67B | – | 4k | 可商用 |