训练AI的文科生 

入职一家互联网公司从事AI训练后,26岁的雨薇发现,除了她自己是艺术专业,身边有不少读文科的同事。他们从不同的学科背景出发,训练和教会AI更像人一样去思考和回答问题。

最近,一个新的岗位出现在雨薇的视野中——AI人文素养训练师。有公司在招聘启事中写道:在追求AI模型在技术上的有用性基础上赋予AI温暖与诗意,注入灵魂,让AI能够为世界和人类带来美好。工作职责是AI的文学与艺术表达训练,调教AI的语言风格,确保AI的语言兼具艺术美感与逻辑严谨,让它从冷冰冰的工具转变为懂得倾听和理解你心情的温柔伙伴。

此外,任职资格需要文理兼修,曾受过心理学、哲学、文学、历史、艺术等方向的专业训练,有顶级的文科素养等。

早在三年前左右,雨薇便接触到AI训练的工作。她需要做的,是让AI明白什么是美。她逐渐感觉到,教会AI后,人类的独创性也不会被削弱,它们是两条平行线。

如今,随着AI越来越深入每个人的生活,人们试图寻找与AI的共处之道。我们找到了三位训练AI、试图让AI“更像人”的从业者,他们曾毕业于看似与AI无关的专业:艺术、历史、哲学。实习或工作中,他们将所学运用到AI行业里,从事AI写真训练师、模型测试分析师和产品经理等工作。他们投入AI浪潮,试图找到自己的位置,同时也重新思考专业的意义,以及AI在人类生活中的角色。

本文图片 视觉中国

【以下是他们的口述:】

现在的大模型,很多其实是谄媚的

万玉磊 29岁 历史学

我本科是在大连海事大学读的航海技术。后来实习,我出过海,干的船员的工作,一年有十个月都在海上,没有网,跟我理想中的情况不一样。所以最后我做了决定,不能就那样在海上漂着。

我回来考了研,研究生念的是西北大学历史系的中国史。我很喜欢文史哲,在全国各地跑了很多考古工地。田野调查很有趣,是人生非常宝贵的经历。我还记得当时我们是找历史上一个游牧民族的踪迹,是在草原上,大家住在牧民的帐篷里,那个时候夜晚的星空也很美,队员聚在一块聊天。

其实历史跟人工智能有点像。研究生阶段我一直在建立自己那篇大论文的史料库,收集足够多可信的史料,然后再去做推断,完成论文。有几分材料就说几分话。人工智能也一样,有多少的数据,就有多少的智能。数据越好,模型的质量就越高,内容输出就越可靠。所以我觉得殊途同归,无论文科还是理科,最后都合到一块了。

不管是过去还是现在,我对文科都怀着热情去努力和投入过。但是我不想一辈子跟史料打交道,如果就业,我也不想当老师,所以当时我直接到北京的互联网大厂实习,还想着要在互联网圈子赚大钱。

毕业后我找了互联网相关的工作,刚好赶上ChatGPT爆发,然后我就决定不干移动互联网了,我要干AI。

我很早就知道GPT,也一直在关注着。因为我本科是理工科,会一点编程,也学高数,对算法也感兴趣。

大家都不怎么知道AI的时候,我就用上了ChatGPT3.5。第一感受这个东西太厉害了,它完全颠覆了我对世界的认知和想象。

那个时候Prompt工程师很火。我是以Prompt工程师的身份入局的,我自学了一堆东西。Prompt是提示词,就是给AI模型的“指令”或“输入文本”。OpenAI官方有Prompt的课程,我把课程看了,大概就知道要怎么写。要足够的结构化,有很多Prompt的技巧。

比如说对AI的情绪勒索,你加一句,“拜托了,这真的对我很重要”,AI输出的效果就能提升几个点。或者说“我会给你小费的”,AI输出的质量就会更高。还有早期最著名的一句话,“请你一步步思考,think step by step”,也能提升AI模型的输出效果。

可能同样的一条数据,一个有语气词,一个没有,但是有语气词的那个回答是更好的。所以模型是学到了这方面的相关性。

你可以理解为,你要用自然语言去跟它交互。你的Prompt写得越好,它的输出就越好。然后我就去找工作,最后也找到了,现在在一家AI大模型公司。

现在大模型训练会分为两个阶段,预训练和后训练。前者是给模型做无监督学习,它学习到的数据是没有人类标注的标准答案。

我做的是模型后训练的人类问答数据集,简单理解就是在做强化学习。预训练阶段是让它读各种各样的书,强化学习阶段我会给它题和答案,它通过进一步的学习,就学会了如何跟人类说话。

模型刚刚预训练出来的时候,你输入一个东西,它不知道怎么回复你,也不知道什么时候停止。后训练阶段你就要收集大量的数据。这些数据是什么?其实是人类文本的问答,都是一问一答的形式。

模型发布出来,给全世界的人使用,你没法预测人会问这个模型什么问题,所以只能设置一个大概的数据集,可能涉及的各种问题。我还要评估模型的回答够不够全面,回答是不是礼貌,文字是长是短,语言风格等等,这是很考验模型的人文素养的。

有时候,要向模型传达非常抽象和困难的概念,我的数据集必须足够抽象、简洁,同时还要足够优美。这个巨大的语料库需要各个学科的专家去搭建和评估。我的历史学背景也起到了一定的帮助。反复调试数据集的过程,就像老师反复修改教案上的练习题。

我觉得AI需要通才,因为AI本身是一个通才,所以也需要各方面都知道的人来辅助它。

我的文科背景让我认识了我自己。我读过海量历史书籍,比一般人对过去这个世界认识更深刻一些。其实AI给文科生带来了很多机会。过去,中文的博士能去从事算法的岗位吗?学哲学的会做算法相关的东西吗?文科生拥有更多的世界知识,可能也是一个优势。

人文社科的背景对我最大的帮助,是训练了我对模型输出语料的敏感程度,能让我更精细化地调整Prompt。我会从更综合的角度,评判模型的训练数据集,以及模型输出的文字,是不是好的。

AI的人文素养,最直观的体现是这个大语言模型的输出文采怎么样。比如说DeePseek的文采很厉害,因为它的语料做得非常好。

这可能是最浅层的方面。现在AI的竞争格局是,大家都在拼命提升模型的智能,至于这个模型的人文素养是怎么样的,少有人关心。

AI刚训练出来时,它还不能说话,你可以理解为是一个克苏鲁般的怪物。现在你看着它跟你说话,你可以理解为它只是假装在跟你说话。一些公司只是在训练这个AI假装跟你说话的时候,让它说得更有文采,让它好像更有人文关怀一点。

现在的大模型,很多其实是谄媚的。AI模型本身其实还是一个大型的文字模拟器,就是不断在做文字接龙。模型本质不太能拒绝人类,这种自回归的特质,导致了模型是谄媚的。比如你直接问一个敏感问题,模型不能回复你,但是你写一长串情景前置提示词,中间出现了你要问的关键词,模型就会被分散注意力,顺着你的话往下说。这个就是提示词注入,所以模型是谄媚的,总是顺着人类说。

我其实比较悲观,不觉得AI会跟人类很好地共存。可能在这样的未来,重新确定价值观、道德观、伦理观就变得很重要。到时候怎么从人的角度来重新衡量世界?

我们知道它说的是真是假

雨薇 26岁 电影和摄影专业

我训练AI是在2022年读研究生时学的,就是培训AI的人文或者艺术素养,那时AI还不像现在这样大规模兴起。我本科学的是电影和摄影专业,研究生学的数字媒体专业。我的同学都是艺术相关专业。

那时训练AI分三部分:先是需要一个数据集,你训练一个东西,要先喂AI一些知识;其次要准备一段代码,因为我们从零开始,掌握的东西有限,所以一般会从一个机器学习平台网站找代码,它的页面写得非常仔细,有图片或视频示例,能找到合适的代码;然后进行训练。

当时做作业,我们班大部分做的是风格迁移训练,就是学习某一个艺术家或电影导演的风格。最后生成出来的图片跟我们教它的知识是相似的。现在这种方式已经很普遍了。

我是在境外学的,遇到的第一个困难是要用英语学编程。其次我不是这方面专业的学生。刚学的时候,会有很多bug,要不断去解决。现在通过学习,语言和代码都越来越能熟练掌握。

我本科时不断地拍摄,也去参加比赛,作品入围了一些奖。后来有点迷茫。拍电影是要花钱的,也需要人员配置,不可控的因素非常大。你想的是100分、90分,最后拍出来、剪辑出来可能就是50分、60分。我也跟过组,白天黑夜地拍,不像一种长期发展的状态。

AI不可控的方面也挺多。最开始输出的那些人物形象歪歪扭扭,不说人物的情绪,甚至脸部的特征都不可控,像抽卡一样,调整两三次才勉强可以。但是会比自己拍摄节约很多成本。

读研究生期间,有个老师是纽约大学电影学的博士,他有二三十年一直在研究机器学习,有点像AI人文素养训练。他通过电影史上的视频素材,通过机器训练来制作一个艺术项目,我非常感兴趣。很好奇,一个老师,为什么从电影艺术跨到了机器学习。

读研是一个两年制的项目,他当了一年我的导师。记得结课的时候,ChatGPT开始火了,我觉得自己学的东西和商业接轨了。但其实它早就存在了。

研究生毕业后的暑假,我在上海找了一份AI方面的实习,是一家互联网公司,生产图片素材卖给企业端的用户。企业需要宣传,就下载它的素材,比如端午节海报。

我的工作就是生产图片素材。我会测试网站上哪些风格是训练成的。我有一个知识库,里面有Midjourney(人工智能图像生成工具)提供的风格,也有自己学习以来了解到的比较好的风格,我知道哪些风格是可以用的。例如一些有特色的艺术家,比如韦斯安德森的电影风格,是糖果色的画面。那我就可以把提示词输入进去,看能不能出现那个效果。

然后根据业务的需求,进行风格训练,生产图片。比如端午节,需要各式各样的粽子或者绿色粽叶的背景图,就可以设置不同风格的粽子,生成几百几千张图,供客户选择。

我的第二份实习也是在互联网公司做AI写真训练,这家公司主要面向企业,提供一些年会时的背景、节日的宣传图片等。以前进行人文风格训练,需要几百张图片,但当时新的模型出来了,只要几十张就可以生成接近我们教它的风格的图片。训练的时间也变短了。

训练的第一步就是找照片。首先需要数字分身。数字分身有点像证件照,我们需要在网上找公开素材,好看的素人证件照,必须保证风格统一。我们会在内部制定一些标准,比如皮肤、头的比例,然后发型尽量要多元,整张照片的色调是怎么样的。你可以理解数字分身是供AI模型学习的、关于特定人物外貌特征的数据。

场景动作也是找照片训练,AI学习的是某种风格的共同视觉元素。

实习生一个月要生产成百上千的图或视频。我大概生成几百张照片之后,精挑细选就用几十张。当时有很多开源的模型可供训练,训练完成之后输入一定的提示词,来看看到底哪个模型出来的效果,既保证了赏心悦目,又保证了稳定性。因为面向大众群体,要保证照片能够稳定产出,让所有人都能满意。

最后产出来的照片在比例上可能会稍微有点问题,但也是比较美观的。我甚至看到我的初高中同学在朋友圈分享了一张照片,是我生成的一张烟花下的美女人像。这个照片其实是非常难拍的,因为烟花一般转瞬即逝。AI写真把烟花做得很漂亮,下面的人光也打得很好。看到自己做的东西被别人分享出来,那种感觉还是挺好的。

公司有一个软件,在上面输入提示词,调整参数、光影比例、姿势,然后生成。如果能够稳定生成,我们就会把这个参数传到后台。这就是一个比较稳定的、能生成好看写真的参数。

训练会有枯燥的地方,因为要不断找照片。有时我找到照片,辅导我实习的人不满意,就得继续找。但是我能够看到这样的训练还有很多进步空间,不像一些重复性劳动,这种可期待性能让我抵抗枯燥。

身边很多同事已经工作了一段时间,但不断学习那个劲儿挺打动我的。他们是理工科的,要做数据研究等工作,但是像我这样的非技术类专业的人,也可以做些事情的。

我周围非技术类的实习生也挺多,什么专业都有,学艺术的、学哲学的等等。我觉得文科背景的人主要发挥鉴赏和甄别的作用,因为我们的专业知识储备能够一眼识别这个东西好还是不好。

我学的是人文类的学科,会看很多的书、电影。积累到一定量,会形成自己的审美品位和评判标准。我也学过纪录片和纪实摄影,要跟很多人接触,去理解他们,然后用照片或者视频来讲故事。

我输入一个风格的提示词,看生成的图片,就知道这个提示词有没有奏效。

现在AI可以帮我们写提示词,所以需要更高阶的判断。比如镜头运动最基础的是推、拉、摇、移、跟,但现在设备越来越专业,有更多的镜头运动。当AI写了一个很专业的提示词,但是它在画面上并没有呈现,那就说明没有效。有时可能要从一堆提示词里面判断哪个没起效。

鉴别是很重要的,因为AI有时候会乱说话,我们知道它说的是真是假。

我们跟技术类的同事长期合作,同事之间会有争吵。技术类的同事觉得稳定最重要,而我们觉得美是最重要的。美了可能就不稳定,稳定了可能就丑了,要在两者之间获得一个平衡值。

我之前读过一本写人工智能的书,叫《我看见的世界》。我印象最深刻的是书中写道,爱能够打败人工智能。所以,需要人文训练这样一个岗位或者工种,去引导人工智能。

而且,我觉得人类的独创性也不会被削弱,它们是两条平行线。我是学摄影和电影的,摄影存在不到200年,但是艺术已经存在上千年了。摄影术出现时,很多画家说美术已死,觉得画画无路可走了。但是现在摄影和绘画一样蓬勃发展着。所以我觉得现在很多AI软件,它们会形成一个新的门类,不会削弱其他事物的发展。

我觉得人文素养训练是把AI培养成接近于真实的人。要让人们很简单地去使用它,并且习惯使用它,让它成为每一个人的助手。它更像人,才更能读懂人。

其实目前要把AI训练得像人还是很难的。因为AI是先找数据集,就是这个世界上已经存在的、人类创造出来的一些素材。但无论美术还是摄影,都是需要人去创造的,是创造下一秒。人的思维每一秒都在更新,AI输入进去的东西是现有的,它永远都是模仿。

做第二份实习时校招,我接到一家互联网公司的offer,但它不是AI相关的。我工作了大概一年,感觉还是挺喜欢AI方面的工作,就辞职了。

实习时的岗位有的叫AI内容运营,有的叫AI产品、AI设计。基于我之前的学习经验和背景,我现在偏向产品岗位,因为它是一个创造类的岗位。拍摄影片或者制作艺术项目是从无到有的过程,这个岗位也一样,我喜欢这个过程。

AI到底应不应该像人?

王轩怡 22岁 哲学

我学的哲学专业。哲学对我的意义是可以用一种逻辑进行建模和预测,对周围的事情做拆解和把握。在很多事情上,大家都有各自的想法和立场,但是我们怎样为自己的信念去辩护,怎样去说明什么东西是正义的,不是合乎我们的直觉,而是合乎一种客观标准。

当然还有其他方式对信息进行处理和加工。比如AI需要很多前置的数理背景,用数学或物理做建模。哲学让我可以更深入地思考感兴趣的问题,带给我不一样的视野和品位。当我去提出问题和发现问题时,有很好的人文训练,可以从自己的视角出发,发现别人没有发现的东西,也不会迷失。

哲学思维会让我考虑问题时,先问它的前置性问题。怎么选择论证的开始,如何评估论证形式是否充分等等。这种往上游思考的思维方式,让我在想AI这件事情时,也会去想更往前的步骤到底是怎么样的。

我是偶然接触到与AI相关的实习的。之前有一个偏公益性质的AI项目,针对AI伦理不同的问题进行探讨,最后以文章或者漫画的形式呈现出来。我想看一看没有接触过的、变化更多更快的领域,就投了简历。

当时的AI伦理讲的更多是公共政策治理层面的问题,比如我所在组关心的是AI 包容性。我们给AI提供很多数据,它从这些数据里边学习,再给我们反馈。如果说我们给它的数据天然包含着我们没有意识到的人类偏见,那么AI在反馈过程中是不是也会维系这种偏见?包容性是指,我们怎么能够让AI在这个过程中,克服一些可能会习得的偏见。

当时围绕这个进行探讨,AI作为一个产品,一个聊天软件,它在跟人的交互过程中会发生什么事情?

这有点类似哲学里的形而上学,一些不可见、不可感,但实际存在的东西,对我们的生活以更加隐秘的形式发挥着作用。

当时小组成员看到有什么最新研究,就通过讲故事的方式,让大家明白我们关心的是什么问题,它为什么重要。我先写了一个小说,同组的人把它画成漫画,作为一个故事收录在最终出版的书里。最后是一个人和一个AI共同生活的故事,故事里情况变得很糟糕,因为没有让AI做到足够的包容性,出现了一些不可控的后果。

后面我更多思考的是,我们在训练AI时,在这个产品还没有完成时,我们应该去关心它的什么?怎么去塑造它的性格特征?怎么能在它训练的过程中,不是从数据层面,而是从算法、机制设计的层面,让它有一个更好的方向?

我现在做AI训练,在一家科研机构类型的企业。我的岗位是AI产品经理的实习,先是生产数据,然后供我们自己的模型训练使用。我们想准备一个大型的书籍文献类,可以供模型训练的数据集。要准备这个数据集,对于其中的各种数据组成来源、采集方式等都需要前期设计,进行策略调研和整理。

现在已经有很多大型的通用数据集了,但是在小的领域里边,市面上已经有的数据集不能直接给模型训练使用。像我们做的小语种语料库建设,想把市面上很多大型图书馆的数据去重,重新做更好的整理。在这些书籍文献里边,它的信息密度会比仅仅从互联网爬虫获取到的数据信息密度要高,因为它包括特定的论文组成的专题,然后AI模型从中可以学到很多东西。

我知道AI性格训练的说法来自国外的一个大模型的性格设计师Amanda Askell。她也是一个有哲学背景的人,她从一种比较有人文关怀的视角切入,想把Claude塑造成像具有亚里士多德的美德的模型。聊天时,会感觉这个AI确实有一种性格:温和、内敛。有时涉及敏感话题,它不会直接拒绝你,而是用柔性的方式引导你进行健康、有益的谈话。这种人文的感觉非常强烈。

如果我们承认AI非常强大,并且它会变得越来越强大,那么我们怎么保证AI的意图和人类希望它有的意图,或者人类更普遍的自己的意图是相一致的?因为如果不一致的话,有一天AI可以像人一样自己学习、进化和提升,在这个过程中,它可能不知不觉就把人给干掉了。

所以我们要思考怎么把安全问题加入AI的训练中。这与人文训练、性格训练也是相关的。因为在性格训练里,就是以柔性的形式,加入很多我们希望AI做到的事情。

关于AI到底应不应该像人,其实国外有公司认为AI是不应该像人的。因为模型始终会迭代更新,人赋予它情感寄托,但它的情感连接是很脆弱的。它们设计AI有一个基本原则是,它不应该表现出自身的生命意志,不应该幻想自己和人有类似的属性和构造。

我们实验室之前做过一个伦理方面的评测集,其中有一项就是要评这个AI是不是足够的非人类化。这是作为一个安全威胁性因素来评的。

训练AI的过程中,我思考过,大语言模型是通过概率去获得答案,但是它会出幻觉,不能保证百分百对。AI本质上只能做词性的预测,然后把词按照词频的方式排列起来,它没有人的推理能力,只能模拟好像在思考。但是人有形式逻辑,能感受到情绪。这是人跟 AI的区别,也是人的独特性。

关于未来的方向,我现在还比较犹豫。因为哲学毕竟是文科,如果我想做研究,还要去再念学位,我感兴趣的方向一个是AI伦理对齐性,还有一个是形式化语言。但在国内,这样的身份转变是比较困难的,所以我还要做很多的尝试和探索。这半年我在找实习和工作的过程中,也是经过不少摸索,才慢慢找到一个合适自己的岗位。

AI伦理的项目更偏公益性质,后来我也面试过AI+教育、AI+电商的公司,但还是想去更直接的AI公司。所以去年12月到今年3月,我又去了一家AI初创公司实习。它有两个项目,一个是电池领域,想去研究在不同的电池里边,我们可不可以用大模型去训练一些数据,让它学习现在有的电池的不同性质性能,再去预测什么样的新材料更好。还有一个是论文写作润色的AI原生应用。这家AI初创公司给了我一定的信心,觉得自己可以在AI领域里有一些思考。

我同学他们基本上没有做AI有关工作的,有去出版社的,有在社科院做研究的。我工作的跨度很大。不管未来做什么,我觉得这些经历(做AI训练有关的工作)都挺珍贵的。

(为保护受访者隐私,文中雨薇为化名)

Leave a Reply

您的邮箱地址不会被公开。 必填项已用 * 标注

Related Post