前言：

前段时间抓取了BOSS直聘的数据（见数据抓取艺术——以BOSS直聘为例），光有数据不进行分析那数据就躺在硬盘里吃灰了。传统的分词+聚类或者语义情感分析经尝试发现调参难度大，分析效果差，推理时间长，不适合快速迭代快速分析。以GPT为首的大语言模型常看到公众号文章及评分榜盛赞其性能优异，工具调用娴熟，因此使用GPT5对爬下来的数据进行分析。

当然，实际上没有这么顺利，GPT5官方API价格高昂，哪怕是使用GPT5 nano（下面的LLM均为GPT5 nano）这个数据量跑下来也得上百元（如果能分析出些有意义之前没发现的结论，这个价格也不贵，但处于调试阶段就没必要了）了，因此先找到了国内低价API中转平台，然后进行调试。同时由于LLM的输出具有一定随机性，提示词也需要精心设计，同时增加Debug输出便于修改提示词。

本文所提到的数据分析及示例集中在通过原始BOSS直聘数据+LLM分析找到适合自己的工作。

正文：

1、使用的数据如下图，与原始数据相比增加了列名，行数裁剪到48行，下图数据（其实这个数据有瑕疵，有的数据没有抓取全，判断“岗位名称”这个元素加载完成就直接抓取了）会以附件形式给出。

2、最原始简单的方法无疑是直接将爬下来的Excel文档直接上传给GPT/Gemini等LLM，并附上一段提示词要求LLM对数据进行分析，实测发现无论是使用简单还是复杂的提示词均难以在单轮对话中给出令人满意的数据，错误频出且结果难以稳定复现（即使将温度参数 Temperature 设为0.0）。我认为主要原因在于缺乏人为干预和反馈机制，导致分析过程的思维链未能形成有效（指对外）闭环。（简单来说就是任务过于复杂，GPT认为按照提示词去完成了工作，但不符合用户的要求）

3、原始文档使用GPT直接处理无法实现给出我需要的数据，解决的思路不外乎按行拆分文档or更换更强大的模型（由于价格原因不选择这个思路）。拆分文档指将Excel数据按行读取，并整合成岗位信息数据发送给GPT处理，噪声减少后GPT给出的回答质量明显上升，错误显著减少。如前文所言使用官方API 价格过于高昂，因此寻找到国内API中转站，下图1是国内中转站价格，下图2是官方API价格。经测试，该API应该是逆向接口，支持上千并发（走HK中转），节省大量调试时间。

4、Anyway，找到了廉价API接口，接下来就是并发跑测试找到一套合适的提示词。下面将展示针对该文档的提示词工程迭代。

（1）按行将个人简历&岗位信息PUSH到API，提示词集中在要求LLM给出合适度评分。

实测发现同一个LLM对同一个岗位的评分差异较大，Debug后发现LLM对同一个岗位的信息理解偏差较大，A认为符合B认为比较符合C认为不符合。

（2）使用评分表约束LLM评分行为，按行将个人简历&岗位信息&评分表PUSH到API。

评分表可参考下图内容

实测发现同一个LLM对同一个岗位的评分差异仍然较大，Debug后发现LLM对同一个岗位的信息理解偏差集中在主观部分并且会出现二次推理导致评分差异，如技术栈匹配度就是很主观的内容AB两个LLM评分容易出现非黑即白的情况，拉大方差。

5、考虑到个人信息和评分表有一定重复（评分表由个人信息提炼得出），因此应当给出更客观（此时使用评分规则类似于文本匹配，削弱LLM文本（招聘信息）推理）的评分表，去除个人简历资料。

同时使用三个LLM对同一岗位评分，单一评分项目分数方差还是较大，权衡Token消耗与模型性能，最终选择了Nano模型和“最接近对取平均”策略，如果AI给出的三轮分数是 [+10, +15, 0]，系统会识别出0是离群值（幻觉），从而取10和15的平均值。

其实这个就是滤波算法选择了，尝试过直接取三轮平均，评分会受到极值影响，尝试过去极值取平均，发现需要5个AI给出评分结果才比较可信（计算IRR），且对Token消耗较大。

6、接下来使用Python并发请求跑数据就完事了，输出评分排序后使用影刀RPA自动投递即可。

当然，不走LLM路线也可以，纯关键词匹配（精确但僵硬）或LLM模糊匹配+关键词精确匹配加权融合，都是可行的方案。

7、跑出来的数据评分稳定性大幅提升，但仍存在个别岗位评分偏差较大的case（尤其是JD描述很模糊、同时包含多方向需求）。借鉴Coze工作流中常见的“标准样本库 + 动态注入”思路，以及飞书企业级LLM应用中常用的In-context Learning实践，后续构建了一个人工审核的标准样本库。

挑选数十条典型的JD信息作为基准case，人工给出各项评分，并写出简短但关键的打分理由。将其中4条（Nano的上下文比较短，如果模型支持的上下文比较长可以多注入几个样本，对于本文的case注入4个样本就差不多了，样本太多模型的注意力会分散，评分会变不稳定）最有代表性的样本，作为示例注入到每条提示词的最前端。

ps：示例数据

251105boss直聘嵌入式软件清洗详细.xlsx69.63KBXLSX6次下载

pps：boss直聘1月底到2月中反爬再次升级，打开控制台或“不加掩饰”地监听事件会强制刷新三次+关闭网页（不过看起来是先加载完数据再close的），禁用JS或JS注入清空window.close等操作也会触发反爬，得模拟真人行为（随机鼠标轨迹、滚动、停顿）。如果还不行就换谷歌浏览器，清Cookie重新试一下，传统的bs4库直接爬取是行不通了，Selenium用下来也很容易触发反爬。薪资加密映射也该了（偏移量和字体映射有变，需重新抓包倒推）。总体看，该网站的反爬强度在国内招聘平台中算顶尖。

ppps：数据艺术系列文章暂时完结，该系列其他文章链接如下

数据抓取艺术 —— 以 KC 网为例

数据抓取艺术 —— 以 BOSS 直聘为例

pppps：单次Token消耗及价格，可以看到这个价格简直是白菜价，5K行的数据跑下来也就几十块，总耗时不过是十来分钟，属于是多快好省了。

ppppps：放只Miku酱