文号
917471
阅读
41311
回复
29
收藏
19
试用chatgpt进行科创B卷考试且成功通过
2023/03/03
原创
IP:江西
关键词:chatgpt,openai,ai

最近闲得蛋疼,刚好去注册了个chatgpt,玩了一段时间,问它一些网上直接搜索搜索不到的东西,它也能很好的回答出来,所以我萌发出了一个想法,就是能不能用chatgpt通过b卷的考试呢,当然我肯定是先通过了b卷,这个chatgpt是之后想到测试的,不过我之前考b耗费了很多次数,导致目前只测试了3个专业,其余的可以自行尝试并分享

''因为我不能保证我自身认为的答案是否正确,所以我只会标注直接搜索能出来答案的问题。

PS:黑框为自主填写,因为我认为与专业无关,不过chagpt的第二次答案也是与自主答题相符,红框为二次提问两次回答不同,绿色为可以直接非常轻松被搜索出来的答案 

物理专业: 

物理.png

结果为未通过

由于我想到了chatgpt对编程和语言方面可能有优势所以我又测试了软件开发

软件开发:

软件开发.png




结果通过了测试

计算机专业:

计算机科学.png

结果为不通过

以下为两次不同的chatgpt截图和非常轻松被搜索出来的答案的搜索截图

孙文红教授:

教授.png


教授二.png


爱好者:

}ZJU1)1Q@Q]6Y{3TH1II[$F.png

_`[AF19GBYYUY$U]3{[%1VM.png


HYTGVBM~XZGELQ3{XQ$VRY0.png

非常轻松被搜索出来的答案:

5R}T5C$]J0O3K)WUC)K_60Y.png BOUL0K7EV78CP{CV_FIQ752.png F@`BSJ~6]TE57$FO$8}}377.png T[9W)0(DKS{ST@3YG8JO0U1.png


由于之前答题用了过多次数,只测试了3个专业,所以目前只能提出一些浅显的结论:

  1. 多次提问可以增强准确性

  2. chatgpt在3个专业中擅长于软件开发

  3. chatgpt可以轻易的说出难以搜索出来的问题

  4. chatgpt准确性较低,容易一本正经的胡说八道,看似合理实则不合理的内容,更容易误导大众

  5. 在一些可以直接搜索出来的答案的问题下目前来看正确率还是很高的,可以比较好的节省时间

所以目前chatgpt不能很好的替代搜索引擎,错误率高,信息来源未知,不过最新的new bing会列出信息来源,不过内测没被选中,未能测试

让我没有想到的是chatgpt应该非常擅长于语言理解,但是在爱好者那里出现了两种不一样的结论,其余的专业可自行测试,可把测试结果分享出来,我感觉英语专业它应该会比较容易成功,不过未能测试,由于chatgpt不好截图,所以没贴出来全部,如果需要我会发出来到评论区

+0.5
科创币
maizhangyu
2024/06/08
testetsetset
 
高赞回复 

3年8个月前修改于 3年8个月前IP:四川
917482
4楼
引用xa87发表于3楼的内容
1分钟就答完题了。[图片]

您怎么做是您的自由,但不可以说嘛。证据确凿,根据《增规》第9.1款“在科创设立的考试中舞弊的”,进行封号处理。

该账号系首次通过考试,而非已通过考试而仅仅进行测试:

image.png

另外,答题卡与楼上截图选择一致,错也错得一样,果然十分真实。

53
3年8个月前IP:四川
917476
1楼

从有限的例子可以看出,chatgpt几乎从不做真正的逻辑判断,尽管其回答看起来层层递进,很讲逻辑。公共题其实几乎全是逻辑题,而它总是进行局部的事实判断。

25
3年8个月前IP:浙江
917578
7楼
引用高氯酸铵发表于6楼的内容
作弊有这么麻烦?翻译软件翻一下英语就行了。(本人没有这样做,我早就通过物化生了)建议取消这个专业。

别的不好说,至少英语专业仅靠翻译是很难过的。如果没有英语的“思维“靠学校教的阅读理解给你全文翻译也没用

12
3年8个月前IP:四川
917476
1楼

从有限的例子可以看出,chatgpt几乎从不做真正的逻辑判断,尽管其回答看起来层层递进,很讲逻辑。公共题其实几乎全是逻辑题,而它总是进行局部的事实判断。

引用
评论
25
3年8个月前IP:上海
917479
2楼

考试通过

恭喜您通过了 计算机科学 专业级 考试。

哈,谢谢楼主,之前一直没想起来用。

引用
评论(2)
4
3年8个月前IP:上海
917480
3楼

1分钟就答完题了。

ChatGPT API Demo.png

引用
评论
3年8个月前修改于 3年8个月前IP:四川
917482
4楼
引用xa87发表于3楼的内容
1分钟就答完题了。[图片]

您怎么做是您的自由,但不可以说嘛。证据确凿,根据《增规》第9.1款“在科创设立的考试中舞弊的”,进行封号处理。

该账号系首次通过考试,而非已通过考试而仅仅进行测试:

image.png

另外,答题卡与楼上截图选择一致,错也错得一样,果然十分真实。

引用
评论(1)
53
3年8个月前IP:上海
917511
5楼

哈哈哈哈,三楼自曝 sticker

引用
评论(3)
8
3年8个月前修改于 3年8个月前IP:北京
917563
6楼

作弊有这么麻烦?翻译软件翻一下英语就行了。

(本人没有这样做,我早就通过物化生了)

建议取消这个专业。


引用
评论
3
3年8个月前IP:浙江
917578
7楼
引用高氯酸铵发表于6楼的内容
作弊有这么麻烦?翻译软件翻一下英语就行了。(本人没有这样做,我早就通过物化生了)建议取消这个专业。

别的不好说,至少英语专业仅靠翻译是很难过的。如果没有英语的“思维“靠学校教的阅读理解给你全文翻译也没用

引用
评论
12
3年8个月前修改于 3年8个月前IP:北京
917608
8楼
引用悟死参玄发表于7楼的内容
别的不好说,至少英语专业仅靠翻译是很难过的。如果没有英语的“思维“靠学校教的阅读理解给你全文翻译也没用

理想翻译软件能解决几乎所有的外语问题,因为翻译成母语后就没有思维问题了。实际翻译软件也能解决绝大部分,翻译软件的外语水平好于绝大部分人。


引用
评论(4)
1
3年8个月前IP:江西
917618
9楼
引用高氯酸铵发表于8楼的内容
理想翻译软件能解决几乎所有的外语问题,因为翻译成母语后就没有思维问题了。实际翻译软件也能解决绝大部分,翻译软件的外语水平好于绝大部分人。

我感觉如果是作弊难度的话英语和软件开发难度都快类似了,英语如果直接用一键翻译很容易出现类似于"爱来自瓷器"那种,如果像那种选择题就单个单词,一键翻译就会翻译出一个常用的与之对应的中文单词,尽管这个还有很多个不同的意思,当然应对方法就是不用一键翻译,去搜索单个单词,一个一个看释义进行比较,本质也是搜索,而软件开发的题目很显然前6题和最后一题一般人都能非常轻松通过搜索或者自己判断得出。如果是60分很显然,已经非常容易的通过了,如果是80分的话其余的只要蒙几次,蒙对一个就算通过了,当然其余的也是能通过搜索得知的不过难度相对更高一点.英语也不是单纯的英语,有一部分题目就是别的专业的问题翻译成了英语,本质上就是你在答别的专业的题目,就只是翻译成英语了,单纯通过语言逻辑是不能成功答题的,解决办法依旧可以通过搜索,不过也是如你所说,翻译软件也能解决绝大部分.既然本质都是搜索个人感觉软件开发的难度甚至会低于英语.

引用
评论(1)
1
3年8个月前IP:浙江
917624
10楼
引用高氯酸铵发表于8楼的内容
理想翻译软件能解决几乎所有的外语问题,因为翻译成母语后就没有思维问题了。实际翻译软件也能解决绝大部分,翻译软件的外语水平好于绝大部分人。

比方说那道“以下哪个名字更像侵略者的”这道题靠翻译该怎么过?

其实我觉得考的更多的是本土素养

引用
评论(1)
3年8个月前IP:陕西
917961
11楼
引用悟死参玄发表于10楼的内容
比方说那道“以下哪个名字更像侵略者的”这道题靠翻译该怎么过?其实我觉得考的更多的是本土素养

是的,我就被那道题卡了

引用
评论
3
3年8个月前IP:江西
917977
12楼

又恢复答题了,继续测试了6门,只有一门为全chatgpt回答无任何修改,且成功通过的,科目为机器学习.英语chatgpt居然也不能成功通过

英语:

英语.png

第三题ai说全都不适合儿童,所以第三题为自选

儿童.png

第四题ai是直接从记者的特征分析的并非联系了历史,而第二次重新问变成了slow

,第五题它说:因为“ Dick”是“ Richard”这个名字的常见昵称,所以用这个昵称称呼一个叫这个名字的人是合适的。然而,用“混蛋”这个词来指代其他人,比如警察、老板或者小偷,是不尊重和不恰当的。 

实属离谱

迪克.png


第八题问了两次结果为不同,第一次是scurb,第二次为brush,第二次解释为另外三个为俚语

第九题解释如下

1LW)YIQMP[SYS9V4C1J9ERT.png

3D打印

3D.png

未通过

机器学习

机器.png

通过

高能材料

高能.png

未通过

农业技术

农业.png

未通过

民航知识

民航.png

未通供

以上仅供参考


引用
评论(1)
3年8个月前IP:江西
918137
13楼

两题.png

化学前两题为图片,随便写的答案,其余为chatgpt回答,3D打印为全chatgpt答题

引用
评论
2
3年8个月前IP:四川
918143
14楼

前两天GPT4发布了,听说应试能力有很大加强。

现在还只有chatgpt的付费会员能用,有没有坛友买了这个会员?可以再试一遍楼上那些没通过的科目,看看还有几科能幸存下来😂

引用
评论
1
3年8个月前IP:江西
918144
15楼

才发现我有newbing资格了,等等我试试newbing回答 1678945162384.png

引用
评论
3年8个月前IP:江西
918145
16楼

newbing目前只能一次回答一题,且有标明信息来源

1678945525955.png

30265439835b09d6f2f908ad5b6c094.png

引用
评论(1)
3年6个月前IP:福建
919843
17楼
引用虎哥发表于4楼的内容
您怎么做是您的自由,但不可以说嘛。证据确凿,根据《增规》第9.1款“在科创设立的考试中舞弊的”,进行封号处理。该账号系首次通过考试,而非已通过考试而仅仅进行测试:[图片]另外,答题卡与楼上截图选择一致...

姜太公不钓鱼——不请自来

引用
评论
2
3年5个月前IP:湖南
920882
18楼
引用xa87发表于2楼的内容
考试通过恭喜您通过了 计算机科学 专业级 考试。哈,谢谢楼主,之前一直没想起来用。

牛啊,自曝

引用
评论
1
3年4个月前IP:江苏
922237
19楼
引用虎哥发表于1楼的内容
从有限的例子可以看出,chatgpt几乎从不做真正的逻辑判断,尽管其回答看起来层层递进,很讲逻辑。公共题其实几乎全是逻辑题,而它总是进行局部的事实判断。

我感觉吧gpt基本的逻辑判断还是有的。答公共题需要理解文字语境,可能包含的情感意向,潜在的主流价值观问题,还有一些国内网络调侃,以至于gpt给出的回答都很笼统。

我提问过gpt很多逻辑问题包括逻辑嵌套难题。包括难且经典的三神问题,全部能回答。但其手段估计很多是由于经典问题大数据能找到现成解答。这一点在我询问自己编的较难逻辑题它不能准确回答可以证明。另外简单的逻辑题它自己完全可以判断准确

另外关于gpt的学术能力,就计算而言没什么逻辑。我尝试教它高等代数和泛函的一些计算原理,大数据不容易找到的就不会。大量教学后才可以解一些题(这个其实很不错)。其实就是个能理解简单语言结构然后做简单处理的高等计算器和浏览器的结合体,出错概率还极高的那种,你知道它说错了告诉他它还能脸都不红告诉你不好意思对不起你是对的那种。不过准确度无关紧要的话,确实能加快一定的搜索比对效率。我让他比对上世纪小日子产的两台古董相机的性能,找资料还是比亲手搜快很多

感觉上可能是这样,gpt


引用
评论
3
3年4个月前IP:浙江
922712
20楼

image.png 部署在本地的chatGLM2-6b模型解决了帅哥衬衫问题

引用
评论(3)
1
3年4个月前IP:浙江
922831
21楼

image.png 云梯车

引用
评论(3)
1
3年4个月前IP:浙江
922855
22楼

image.png 手机基站他不会

引用
评论
3年4个月前IP:浙江
922856
23楼

image.png 吃辣椒也不会

引用
评论
3年4个月前IP:浙江
922857
24楼

image.png 核电站也不会

引用
评论
3年4个月前IP:四川
922872
25楼
引用客星晨出东方发表于20楼的内容
[图片]部署在本地的chatGLM2-6b模型解决了帅哥衬衫问题

6b的参数量还是太少了,参数少性能就上不去。huggingface的排行榜里,chatglm2-6b的排名还是差点意思

XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX 

image.png

image.png

最前面的模型平均得分在60多,chatglm2-6b是48.2。

大尺寸模型砍精度之后,消费级显卡的内存也能够用。比如有人用4bit量化的mpt30b,只需要大约20GB内存,层主有兴趣的话可以试试

image.png

XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX 

另外在类似尺寸的开源模型里,也有不少能超过chatglm2-6b的,也可以试试


引用
评论(1)
3年3个月前IP:四川
923237
26楼
引用三水合番发表于25楼的内容
6b的参数量还是太少了,参数少性能就上不去。huggingface的排行榜里,chatglm2-6b的排名还是差点意思https://huggingface.co/spaces/HuggingFace...

llm的进展速度真是快的吓人,才过了一个礼拜,之前排名第一的模型,现在在排行榜的第一页上都快看不到它了😂

image.png

比较讨厌的是,这些排名高的模型几乎都是不支持中文的,或者中文性能很差。看来我国近年来在净化网络环境上的努力,最终是取得了伟大胜利了 sticker

引用
评论
3
3年2个月前IP:广东
924720
27楼

用这个查一些考试时相关的知识特别好用

引用
评论
1年8个月前IP:黑龙江
942395
28楼
引用悟死参玄发表于7楼的内容
别的不好说,至少英语专业仅靠翻译是很难过的。如果没有英语的“思维“靠学校教的阅读理解给你全文翻译也没用

对的,本来以为英语简单点,没想到真的过不去。。。以我的理解能力还差点

引用
评论
1年8个月前IP:黑龙江
942397
29楼
引用xa87发表于3楼的内容
1分钟就答完题了。[图片]

真没必要,实在不行百度搜搜也算合理,这种直接问ai有点过分了

引用
评论
笔记
{{note.content}}
{{n.user.username}}
{{fromNow(n.toc)}} {{n.status === noteStatus.disabled ? "已屏蔽" : ""}} {{n.status === noteStatus.unknown ? "正在审核" : ""}} {{n.status === noteStatus.deleted ? '已删除' : ''}}
  • 编辑
  • 删除
  • {{n.status === 'disabled' ? "解除屏蔽" : "屏蔽" }}
我也是有底线的