背景

前两天参与了一次面试，由于背景基本不在AI算法上面，所以想先看看AI算法会问一些什么问题，是否关心我的课题内容。为此我还做好了ppt。可惜，事实证明专业不对口的话别人并不关心你的科研内容，更关心你懂不懂大模型还有一些算法数学细节，因此后续还是需要更多项目以及八股上的准备。

面试过程

  1. Transformer你大概了解多少？

事后看面试官应该是想听关于self-attention，结果我tokenizer开始讲，讲到一半给打断了，有一种没有抓住重点的感觉。

  1. Transformer这一块 deepseek qwen这些模型你了解吗？

这种问题感觉在未来短期内也很难积累，可以看一下大致的方向，但具体内容短期内无法作为突击重点

  1. 我看你用了RL，Q的Advantage是什么？

Advantage相当于是奖励在当前state的一个期望，减去之后有利于降低方差。

  1. MCP 和 Skills的发展历程以及各自的区别

MCP 和 skills在自己的项目中有过使用，因此对于整个内容也比较清晰

  1. RAG 访问过程中如果取出来的内容特别大怎么处理？

这个问题我现在还没有完全理解。一般我在做RAG的时候会先切片然后存入，取出来的时候也会进行rank。对于单条数据特别大的场景我当时的想法是用额外的小模型快速做summary。

问完这几个问题面试官看我好像大模型的内容不是很懂，于是很快结束了。

未来准备方向

模型的训练算法等需要太多经验性的内容需要日积月累，短时间很难补起来。后续攻坚的重点会放在RL上，具体的知识点准备通过做一个想了很久的开源项目来补全，通过不断往项目中加内容来触及到一些技术细节的广度，并在能想到的可能优化点面向大模型学习当前的主流处理策略以及优劣。