在 LLM(大语言模型)应用开发领域,理解核心专有名词是构建高效应用的基石。以下是基于来源提供的详细名词解释:
1. 核心模型概念
• LLM (Large Language Model,大语言模型):一种基于深度学习技术的人工智能模型,由数亿计参数的神经网络组成。它通过在海量无标签文本上进行自监督或半监督学习,改变了以往必须针对特定任务(如翻译、问答)进行专门标注训练的模式。现在,开发者可以基于大模型通过“微调”来实现特定功能。
• GPT (Generative Pre-trained Transformer,生成型预训练变换模型):由 OpenAI 开发,其核心是通过预测下一个单词或字符来学习语言规律。在当前环境下,GPT 与 LLM 的概念非常接近,几乎可以等价看待。
• AIGC (AI Generated Content,AI 生成内容):指通过 AI 技术生成文字、图像、视频、音频等内容的生产方式。它是 AI 大模型具备泛化能力的具体体现,而 ChatGPT 只是 AIGC 在聊天场景下的一个应用。
• AGI (Artificial General Intelligence,人工智能通用智能):AI 发展的终极目标,指能够像人类一样理解、学习和应用广泛知识与技能的系统。它与 AIGC 的区别在于,AGI 不仅能生成内容,还能思考和处理各种复杂问题。
2. 交互与计量单位
• Prompt (提示词):目前人类与大模型交互的核心方式。它是一段引导模型生成回答的文本或问题。尽管目前底层多将语音、视频等输入转换为文本 Prompt 传递给模型,但未来模型可能直接读取多模态数据。
• Token (文本基础单元):大模型处理文本的基本单位,可以是单词、字符或子词。模型上下文长度(如 GPT-4 的 16K)是基于 Token 计算而非字符。
◦ 差异性:在英文中,一个单词通常等于一个 Token;但在中文中,一个汉字大约等于 1.5 个 Token。
3. 开发与优化技术
• Agent (智能体/智能代理):一种能够自主感知环境并采取行动以实现特定目标的计算实体。
◦ 实例:智能驾驶系统就是一个 Agent,它感知环境(红绿灯、车辆)、规划路径并主动驾驶,以达到安全抵达目的地的目标。相比之下,AGI 具备广泛适应性,而目前的 Agent 通常用于完成特定目标。
• LoRA (Low-Rank Adaptation,插件式微调):一种高效的个性化定制技术。它通过将模型的权数矩阵分解为低秩相似矩阵,仅调整一小部分参数(通过适配器实现),从而在大幅降低计算成本和存储要求的同时,达到接近全参数微调的效果。
• 数据蒸馏 (Data Distillation):将原始大数据集的知识“浓缩”到小型数据集中。利用蒸馏后的数据训练模型,可以在缩短训练时间、降低成本的同时,保持与原始数据训练相近的效果,并提高模型的鲁棒性。
4. 数据存储
• 向量数据库 (Vector Database):专门用于存储和管理向量数据(如图像、视频、文本的嵌入表示)的数据库。与传统数据库不同,它能通过“嵌入”方式实现非结构化数据之间的相似性对比(如两张图片的对比),广泛应用于人脸识别和智能推荐领域。
比喻理解: 如果把开发 AI 应用比作烹饪,那么 LLM 就像是一个掌握了所有基本烹饪技巧的“名厨”;Token 是切碎的“食材颗粒”;Prompt 是你给厨师下的“菜谱指令”;LoRA 像是给厨师配了一个“特定风味调料包”(如川菜包),让他能快速做出特定口味;而向量数据库则是那个能通过味道(非结构化特征)快速找到食材的“超级冰箱”。