Llm Interview

目录

• Agent 的记忆覆盖问题如何解决？
• Memory是Agent的一个关键模块。请问如何为Agent设计短期记忆和长期记忆系统？可以借助哪些外部工具或技术？
• RAG 检索不到问题时如何定位问题？排查思路是什么？
• RAG 系统在实际部署中可能面临哪些挑战？
• Tool Use是扩展Agent能力的有效途径。请解释LLM是如何学会调用外部API或工具的？
• 什么是位置编码？在 Transformer 中，为什么它是必需的？请列举至少两种实现方式
• 什么是多Agent系统？让多个Agent 协同工作相比于单个 Agent 有什么优势？又会引入哪些新的复杂性？
• 传统的 RAG 流程是"先检索后生成"，你是否了解一些其他的 RAG 范式，比如在生成过程中多次检索或自适应检索？
• 你如何定义一个基于 LLM 的智能体？它通常由哪些核心组件构成？
• 你用过哪些 Agent 框架？选型是如何选的？你最终场景的评价指标是什么？
• 假如说要设计一个多轮对话Agent，你会怎么设计？
• 在 Agent 中，记忆模块你一般会怎么设计？
• 在 Agent 的设计中，"规划能力"至关重要。请谈谈目前有哪些主流方法可以赋予 LLM 规划能力？（例如 CoT, ToT, GoT 等）
• 在什么场景下，你会选择使用图数据库或知识图谱来增强或替代传统的向量数据库检索？
• 在构建一个复杂的 Agent 时，你认为最主要的挑战是什么？
• 在构建知识库时，文本切块策略至关重要。你会如何选择合适的切块大小和重叠长度？这背后有什么考虑？
• 如何全面地评估一个 RAG 系统的性能？请分别从检索和生成两个阶段提出评估指标
• 如何确保一个Agent的行为是安全、可控且符合人类意图的？在Agent的设计中，有哪些保障对齐方法？
• 如何选择一个合适的嵌入模型？评估一个 Embedding 模型的好坏有哪些指标？
• 有微调过 Agent 能力吗？数据集如何收集？
• 请比较一下两个流行的 Agent 开发框架，如 LangChain 和 LlamaIndex。它们的核心应用场景有何不同？
• 请解释 RAG 的工作原理。与直接对 LLM 进行微调相比，RAG 主要解决了什么问题？有哪些优势？
• 请详细解释 ReAct 框架。它是如何将思维链和行动结合起来，以完成复杂任务的？
• 请详细解释一下 Transformer 模型中的自注意力机制是如何工作的？它为什么比 RNN 更适合处理长序列？
• 除了基础的向量检索，你还知道哪些可以提升 RAG 检索质量的技术？