文章发布于:2023年3月13日
正当我不吝赞美之词,频繁地夸赞 Bing AI 牛逼的时候,Bing AI 似乎是想降低一下我的期望,于是今晚用的时候,出现了 bug。尽管我再三追问,想知道是不是陷入死循环,但它的态度坚定,坚持认为之所以用这么长的句子,是想突出函数的“复杂性”和“不可思议”等等。
虽然我多次尝试看 GPT 的相关文章,想大致了解一下它的工作原理,但无奈水平太差(吃了上学少的亏),至今没有对这玩意儿有一个让我稍稍满意的认知。
我看一些文章,非常笼统的了解是这样,训练 GPT 会经历三个步骤:第一步就是拿大量的无标注数据训练,比如一本小说,或者一些文章等等,这样做产生的结果是 GPT 可以产生一些没有意义的语句。是的,就是随便胡言乱语。第二部开始就是有针对的训练,比如拿一些问题和答案,训练 GPT,使其能够产生有意义的回答。第三步似乎是建立一套打分机制,比如通过人工对生成的若干答案打分,然后通过这个打分算法继续完成进一步打分,循环往复。可能第三步会使得程序更加像人吧。
这大概就是我目前所了解的一些东西。然后就使用体验而言,我很难想象的出来,Bing AI 优秀的对话能力竟然是以这种方式产生的。
Bing AI 为什么要不断重复这句话?我想起了以前的强迫症经历,脑子里对一些莫名其妙的事情总是不停地焦虑,那个时候我就觉得,感觉是自己的大脑陷入了某种“死循环”。