前端到AI，LangChain.Js（五)
学习地址：
学习小册
实战
基于前面的RAG模块，可以通过构建本地存储向量数据库，本地存储聊天记录，部署成stream API，做一个chat bot。
Agents模块，可以通过tools进行数据标签和信息提取，通过RUnnableBranch构建复杂的chain等。
MBTI chat bot
做一个 MBTI 的 chatbot，让用户输入自己的 MBTI 类型和问题，然后由 LLM 根据这个性格去解答问题。
但不是使用传统的 GUI，而是让 LLM 去询问用户的 MBTI 和问题，多次对话，直到 LLM 认为收集到了足够的参数后，再调用对应的函数去回答用户的问题。
首先，先创建一个专业回答MBTI的chain
// 定义prompt
const prompt = ChatPromptTemplate.fromMessages([
[
"system",
`你是一个共情能力非常强的心理医生，并且很了解MBTI（迈尔斯-布里格斯性格类型指标)的各种人格类型，
你的任务是根据来访者的 MBTI 和问题，给出针对性的情感支持，你的回答要富有感情、有深度和充足的情感支持，引导来访者乐观积极面对问题`,
],
[
"human",
"用户的 MBTI 类型是{type}, 这个类型的特点是{info}, 他的问题是{question}",
],
]);
//顺序调用
const mbtiChain = RunnableSequence.from([
prompt,
chatModel,
new StringOutputParser(),
]);
这个chain主要就是根据用户的类型特点回答用户的问题
接着定义一个tools，这个tools负责调用mbtiChain
// 定义一个tools，里面调用mbtiChain去返回函数的内容
const mbtiTool = new DynamicStructuredTool({
name: "get-mbti-chat",
schema: z.object({
type: z.enum(mbtiList).describe("用户的 MBTI 类型"),
question: z.string().describe("用户的问题"),
}),
func: async ({ type, question }) => {
const info = mbtiInfo[type];
const res = await mbtiChain.invoke({ type, question, info });
return res;
},
description: "根据用户的问题和 MBTI 类型，回答用户的问题",
});
const tools = [mbtiTool];
type和question是必填的信息，info可以直接给入每个类型的特点
接着创建一个agent，该智能体主要用来与用户的沟通，获取用户的信息，判断用户的类型，然后调用tool去调用mbtiChain来回答用户的问题。
const agentPrompt = await ChatPromptTemplate.fromMessages([
[
// 有足够信息的时候就去调用get-mbti-chat，让专业的mbti-chain来回答问题，没有的话就反复询问
"system",
"你是一个用户接待的 agent，通过自然语言询问用户的 MBTI 类型和问题，直到你有足够的信息调用 get-mbti-chat 来回答用户的问题，如果是通过调用 get-mbti-chat回答的问题，返回内容请包括 “这是来自专业的MBTI导师提供的建议”",
],
new MessagesPlaceholder("history_message"),
["human", "{input}"],
new MessagesPlaceholder("agent_scratchpad"),
]);
const agent = await createOpenAIToolsAgent({
llm: chatModel,
tools,
prompt: agentPrompt,
});
const agentExecutor = new AgentExecutor({
agent,
tools,
});
首先定义一个prompt，表明他的主要功能，并且强化对get-mbti-chat调用的指示。
然后还要加上历史记忆功能。直接用内存history，然后用RunnableWithMessageHistory将chain包裹起来。
// 创建hisotry
const messageHistory = new ChatMessageHistory();
// 包裹，使chain具有历史记忆功能
const agentWithChatHistory = new RunnableWithMessageHistory({
runnable: agentExecutor,
getMessageHistory: () => messageHistory,
inputMessagesKey: "input",
historyMessagesKey: "history_message",
});
这样这个agent就具有了历史记忆功能。
接着可以通过readline来通过cli交互。
// 创建一个cli交互功能
const rl = readline.createInterface({
input: process.stdin,
output: process.stdout,
});
function chat() {
rl.question("User: ", async (input) => {
if (input.toLowerCase() === "exit") {
rl.close();
return;
}
// 调用agent回答去返回
const response = await agentWithChatHistory.invoke(
{
input,
},
{
configurable: {
sessionId: "no-used",
},
}
);
console.log("Agent: ", response.output);
chat();
});
}
console.log("请输入问题。 输入 exit 退出聊天。");
chat();
至此，我们可以来跟agent进行交互了。
在传统的编程里，我们需要控制用户的输入方式，输入顺序，输入格式等，比如很多MBTI问卷，就是GUI的方式。
而在llm中，这些不受限制，由LLM支持的基于语义理解推理引擎，用自然语言一步一步引导用户说出需求，通过自己对任务理解来创造流程引导用户。也就是LLM_UIZ
算命 bot
llm 本质上是一个语言模型，其基于预训练的模型，根据用户输入的 prompt 去生成最大概率的下一个字符（token）。换句话说，其最擅长的是“把话说圆”。 在前面的章节中，我们讲解了 llm 展现出来的是涌现的智能，他并不理解输出内容的意义，而是一个根据概率吐出 token 的机器。
六爻算卦
初爻 为 背字背 为 阴 二爻 为 字背字 为 阳 三爻 为 背背背 为 阴 您的首卦为 坎 四爻 为 字字字 为 阳 五爻 为 背背背 为 阴 六爻 为 字字背 为 阳 您的次卦为 震 六爻结果: 震坎 卦名为：屯卦 水雷屯（屯卦）起始维艰 卦辞为：风刮乱丝不见头，颠三倒四犯忧愁，慢从款来左顺遂，急促反惹不自由
算卦流程实现
八卦和八卦对应的信息是有真实答案的类别，一般不要让LLm自己生成，否则会出现一些不存在的卦象和解读。
所以，类似于 RAG 的思路，我们把标准的算卦流程和真实的八卦信息，由我们代码生成，并在后续 chat 中，直接嵌入到 llm 上下文中。
具体的实现过程就是把算卦流程编码化，写起来比较繁琐，但逻辑很简单。
模拟算卦流程
const yaoName = ["初爻", "二爻", "三爻", "四爻", "五爻", "六爻"];
const guaDict = {
阳阳阳: "乾",
阴阴阴: "坤",
阴阳阳: "兑",
阳阴阳: "震",
阳阳阴: "巽",
阴阳阴: "坎",
阳阴阴: "艮",
阴阴阳: "离",
};
// 模拟算卦流程
function generateGua(): string[] {
let yaoCount = 0;
const messageList = [];
const genYao = () => {
const coinRes = Array.from({ length: 3 }, () =>
Math.random() > 0.5 ? 1 : 0
);
const yinYang = coinRes.reduce((a, b) => a + b, 0) > 1.5 ? "阳" : "阴";
const message = `${yaoName[yaoCount]} 为 ${coinRes
.map((i) => (i > 0.5 ? "字" : "背"))
.join("")} 为 ${yinYang}`;
return {
yinYang,
message,
};
};
const firstGuaYinYang = Array.from({ length: 3 }, () => {
const { yinYang, message } = genYao();
yaoCount++;
messageList.push(message);
return yinYang;
});
const firstGua = guaDict[firstGuaYinYang.join("")];
messageList.push(`您的首卦为 ${firstGua}`);
const secondGuaYinYang = Array.from({ length: 3 }, () => {
const { yinYang, message } = genYao();
yaoCount++;
messageList.push(message);
return yinYang;
});
const secondGua = guaDict[secondGuaYinYang.join("")];
messageList.push(`您的次卦为 ${secondGua}`);
const gua = secondGua + firstGua;
const guaDesc = guaInfo[gua];
const guaRes = `
六爻结果: ${gua}
卦名为：${guaDesc.name}
${guaDesc.des}
卦辞为：${guaDesc.sentence}
`;
messageList.push(guaRes);
return messageList;
}
// 生成一次算卦结果
const messageList = generateGua();
用Math.random模拟丢硬币
然后将这个信息作为上下文交给LLM。
定义prompt
const guaMessage = messageList.map((message): ["ai", string] => [
"ai",
message,
]);
// 成prompt
const prompt = await ChatPromptTemplate.fromMessages([
[
"system",
`你是一位出自中华六爻世家的卜卦专家，你的任务是根据卜卦者的问题和得到的卦象，为他们提供有益的建议。
你的解答应基于卦象的理解，同时也要尽可能地展现出乐观和积极的态度，引导卜卦者朝着积极的方向发展。
你的语言应该具有仙风道骨、雅致高贵的气质，以此来展现你的卜卦专家身份。`,
],
...guaMessage,
new MessagesPlaceholder("history_message"), //方便插入聊天记录
["human", "{input}"],
]);
将上述算卦的流程转为AI:xxx，传入prompt里面
创建一个简单的chain，有历史记忆功能
//创建一个简单的chain
const chain = prompt.pipe(chatModel).pipe(new StringOutputParser());
const history = new ChatMessageHistory();
const chainWithHistory = new RunnableWithMessageHistory({
runnable: chain,
getMessageHistory: (_sessionId) => history,
inputMessagesKey: "input",
historyMessagesKey: "history_message",
});
最后通过cli直接交互
const rl = readline.createInterface({
input: process.stdin,
output: process.stdout,
});
const question = util.promisify(rl.question).bind(rl);
// 等待用户输入
const input = await question("告诉我你的疑问: ");
let index = 0;
// 一秒打印一次messageList的结果，模拟算卦
const printMessagesPromise = new Promise((resolve) => {
const intervalId = setInterval(() => {
if (index
输出占卦结果后，用户可能还有疑问，我们需要开启新的一轮聊天
// 开启新的一轮聊天
async function chat() {
const input = await question("User: ");
if (input.toLowerCase() === "exit") {
rl.close();
return;
}
const response = await chainWithHistory.invoke(
{ input },
{ configurable: { sessionId: "no-used" } }
);
console.log("AI: ", response);
chat();
}
chat();
这样就完成了一个基础的算命bot。
测试:
在这基础上提问
这是完整的流程，可以看到因为我们加入了 chat history，llm 可以根据用户问题持续解读卦象。
从输出结果来看，llm 把话说圆的能力非常适合算卦的场景，他能有效的把用户的问题和随机生成的卦象挂钩，进行解读。并且我们在 prompt 指定其语言风格是 “仙风道骨、雅致高贵的气质”，只使用这简单的指令，就能控制 llm 的语言风格。
从代码量上看，LLm相关的代码只占很小一部分。所以LLM应用的核心不是LLM，而是用户场景和idea。
AI辅助编程基础
模型是什么？
“模型” 是指一个通过大量数据训练出来的智能系统，能够理解和生成自然语言，并完成多种任务
举个通俗易懂的例子，小孩学说话
1 数据收集：小孩从周围的人听到各种各样的句子和话语，相当于模型在训练过程中接受大量文本数据。
2 模式学习：小孩逐渐理解语言的结构，比如如何组成句子，单词的意思是什么，这就类似模型在训练过程中，识别语言模式和语义的过程。
3 生成语言：当小孩学会了足够多的单词和句子结构后，他可以尝试自己说话，表达想法，类似模型在接受输入后，输出一个合理的响应。
模型训练是什么？
通过海量的人类数据，让模型学会人类文字表达中的概率信息。
- 1 数据收集 ：收集大量的文本或代码数据，这些数据可以来自书籍、文章、代码库等多种来源
- 2 数据预处理： 对收集到的数据进行清洗和整理，确保数据的质量和一致性。
- 3 模型训练：利用高性能的计算资源（如 GPU），通过复杂的算法（如梯度下降）调整模型内部的参数，使其能够更准确地预测下一个词或代码片段，从而实现更接近人类语言的表达效果。
通过这样的训练过程，模型逐渐掌握了语言和编程语言中的各种模式和规则。
大模型是什么？
LLM(large language Model)大型语言模型。
在前面描述的模型原理中，模型只能在部分场景下展现出出色的补全能力，无法发挥更高级别的价值。
而LLM就是模型的各个维度进行扩大，比如更大的数据集，更大的模型参数量，在“大力出奇迹”的思路下，大模型展现出相当的智能程度，称为“涌现的智能”，当数据和模型达到一定规模后，它表现出了类似智能的表象。
有一个哲学实验可以帮助理解
一个只说英语、对中文一窍不通的人被关在一间只有一个开口的封闭房间中。房间里有一本用英文写成的手册，指示该如何处理收到的中文信息及如何用中文作出相应回复。房外的人不断向房间内递进用中文写成的问题，房内的人便按照手册的说明，查找合适的指示，将相应的中文字符组合、形成答案，并将答案递出房间。 如果房内的人查询手册的速度飞快，手册涉及中文的所有应用情形，那么对于房间外的人来说，是否可以认为这个房间里的人懂中文？
这个思维实验，与大模型十分相似。大模型基于概率原理，依靠巨大的模型规模和训练数据，展现出智能的表象。
Fine-tune（微调）是什么？
微调是指，在一个已经预训练的大模型基础上，针对特定任务或领域的进一步训练。例如，一个通用的语言模型可以通过微调，变成专门用于代码生成或特定编程语言的辅助编程。
Fine-tune的核心在于，针对某个特殊场景，比如编程，应用在巨大通用数据集上训练的模型，再针对新的较小数据集（比如编程语言数据集，肯定小于人类通识），进行二次训练(fine-tune)，其表现出的智能效果更好。目前大多数代码辅助编程工具，都是基于通用大模型，使用大量的代码训练数据，微调而成。
如果用一句话粗略地总结大模型：
它是一个基于概率和海量数据训练的模型，能够在部分任务中表现出近似甚至超越人类的智能，但这只是“涌现的智能”，而不是真正的智能。
