关于AIGC人工智能、思维方式、知识拓展,能力提升等。投稿/合作: @inside1024_bot
AIGC 领域的最新工具、开源项目以及行业大事件
Stability AI正式发布了DeepFloyd IF图像生成模型,这是一个有文本编码器和三个级联的diffusion模块组合的模型。 这个模型的效率要比原有的satble diffusion效率要高很多。
我尝试了一下,看起来效果也比SD2.0强一些。
划重点,这个模型是认字的生成出来的英文非常工整。
文章链接:https://stability.ai/blog/deepfloyd-if-text-to-image-model
可以在这里体验模型:https://huggingface.co/spaces/DeepFloyd/IF
Github:https://github.com/deep-floyd/IF
模型网站:https://deepfloyd.ai/if
https://gist.github.com/yoavg/6bff0fecd65950898eba1bb321cfbd81

[这个知识有争议,我可能没读透,正反观点现在都有,我后面在更新一下(五一后)]

我看到了一篇文章,大概是描述“为什么CHatGPT要用RLHF,而非指令微调”
核心论点大概是这样的:
“因为监督训练会教模型说谎,因为监督训练会让模型倾向于一定给出答案,而RLHF是教会模型辨别答案的好坏——所以监督训练泛化性不足,在训练集以外的内容很容易编造、幻觉”

用通俗一点的例子说:
1. 监督学习就像填鸭教育,模型被强调按范文输出,甚至哪怕没有答案,也会被强制要求给出答案(于是幻觉出现)
2. 强化学习像引导学习,教会模型什么是好答案,什么是坏答案,让他具备答案选择能力,这样他更能切实地结合自己的问题回答

那么在我们学习的知识如此广泛的情况下,我们更加无法知道他内部的知识有多少,因此教会“学习方式”,胜过教会“填鸭式答题技巧”

这篇文章其实解答了我一个疑惑:
1. 满天飞的小模型Lora+指令微调项目,动不动就说对齐GPT-3,真的这么牛逼吗?如果这么牛逼为什么没有看到任何一个线上应用基于这些表现顶呱呱的模型上线?
2. 所以我现在看来,确实就是强行对齐了某些范围的能力,通过填鸭学习做了针对性优化,但是这些LLM会出现一些问题
3. 第一,如果超出指令微调的范围,就弱智了;第二,甚至在已微调过的范围内,如果问题深入、刁钻,也会变弱智

这个过程中印证了我一个判断技术的方法论:
如果一个方法超级广泛地应用,又没有任何实践上的声量,那么就要警惕方法到实践中的鸿沟
前两天一位新朋友用我的 Claude API 跑了一些对比 ChatGPT 3.5 和 GPT4 的测试,得出了一些非常有趣且令人惊喜的结论。
Claude 最新版的的综合能力已经超出了 ChatGPT 3.5 。
特别是数学推理能力和理解能力已经接近 GPT4 。
希望支持 Claude API 的产品多一些吧,它真的很棒。
纯粹卖情怀的面相儿童的作品。
库巴的唱歌全场最佳。
奥森拍到了大鸟
这次还带了望远镜,看了个够
01. 课程介绍(吴恩达 x Open AI ChatGPT 提示工程教程)_哔哩哔哩_bilibili

由@GitHubDaily 翻译的吴恩达prompt课程中文字幕版,以下是他的微博原文:
今天花了一天时间,将《ChatGPT 提示工程》视频教程的所有字幕都翻译完了。

该教程由吴恩达老师与 OpenAI 开发者 Iza Fulford 联手教授。

教程总共分为 9 个章节,时长一个多小时,里面主要涵盖:提示词最佳实践、评论情感分类、文本总结、邮件撰写、文本翻译、快速搭建一个聊天机器人等等。

所有当下 ChatGPT 的流行案例,你都能在这个教程里面找到,十分全面!

除了能在这个教程里面学到如何使用 Prompt,你还能学到 GPT 接口调用开发知识。有需要的话,你甚至能在这个教程之上去延伸扩展,搭建出一款令人惊艳的应用。

目前该教程已经在 DeepLearning.ai 正式上线,官网上提供了可交互式的 Notebook,让你可以一边学习,一边跟着编写代码实践。

不过当下该教程只有英文版,为了让看不懂英文的同学也能第一时间学习并掌握这项技术,我完整翻译了所有英文字幕,并且将所有视频与字幕同步上传到了 B 站。

中文视频:http://t.cn/A6NNS9Be
英文视频:http://t.cn/A6NNS2kl

该视频的中英文字幕源文件,我也将其开源到了 GitHub 上。

如果你在观看视频的过程中,发现翻译内容有错漏、错别字、病句等情况,欢迎向我们提交 Pull Request 以改进字幕翻译质量。

字幕地址:github.com/GitHubDaily/ChatGPT-Prompt-Engineering-for-Developers-in-Chinese
看了一期关于 stable diffusion (另一个AI绘画工具)的教程,发现这个相比 Midjourney ,可视化操作界面和配置性上都强大。

目前在 Midjourney 里写 prompt 的感受是,所有的东西都融合在那么小一个对话框里了。所以我都在 flomo 里先写好,再贴过去。要改,也就在 flomo 里改。//此处很想呼吁 flomo 网页版的全屏模式回归

而 stable diffusion 就有好几个大框框,正面提示词和负面提示词可以分开写。多好啊!多清晰!

如果直接把 prompt 结构也都给我整成不同的框框,这个框写主体描述、那个框写场景描述,有就写、没有就不写。那我就再也不需要去记这个结构了,可以大大提高操作便捷性。

又比如,Midjourney 的关键词权重是靠顺序来调整的,但不能精确控制,很魔幻;但 stable diffuasion 看起来就可以,至少人可以让你添加权重数值,看起来控制感强很多。

这个 stable diffusion 的教程真不戳 【Nenly同学的个人空间-哔哩哔哩】 https://b23.tv/9nd0mGK

如果 Midjourney 的界面操作可以做得更小白点儿,使用人数一定远远超出现在。不会写代码只能望洋兴叹
想用业余时间创业的朋友,欢迎来组队在ChatGPT/LLM/人机交互/移动机器人领域创业!
已经有100+,并且其中有很多位有创业想法的Googler和清华背景的朋友加入了我们创业群,包括Google Brain Team,清华大学NLP方向博士

#Google #清华大学
AI探索指南
写Prompt到底有什么好的方法论?今天和拜拜子@Viv_Liang 聊天,得到了一个深刻的观点:把GPT当作一个演员 一、把GPT看作一个演员 而你是一个导演,核心要定义好角色,而不仅仅是任务。 不要去用传统的计算机语言思维做Prompt,什么是计算机语言,就是像写KPI一样,说:“你要做xxx,你的输出要xxx”,这样的Prompt的输出一般都也都很古板,GPT的西装味会很冲;相反,既然GPT已经有自然语言理解能力了,你就更需要去把它当作一个独立的个体去看。 这个GPT小人虽然没有实际的经验,…
拜拜子:因为我不知道GPT本身到底对 “绝世高人大师” 有什么样的理解,我也不知道GPT被训练的时候,到底有没有被喂过什么样的算命数据。因此我能做的,就是给一些符合我脑海里大师的关键词,哪怕GPT并没有被专门喂过这些关键词,至少也可以唤起一些它的认知,比如“国学相关”。

突然焕然大悟!如果我们是导演,那其实GPT就是一个没有社会经验的年轻演员。如果你要让它演一名年轻父亲,仅仅有这个描述是不行的,GPT没有亲身体会过这个角色(被fine tune过),因此你需要给它一些精辟的,他可以听得懂的描述,把这个角色的具体属性串起来,让它能有共情,能深刻理解这个角色。

赶忙拿着这个猜想问了下拜拜子,拜拜子又给我分享了一个好玩的影视圈认知:如果一个演员戏演的好,可能是角色和演员的风格本身搭配,也可能是演员本身就有很多相关的人生洞察,最后还有一种可能,就是导演/或者一个拍摄指导,给的调教和讲解足够好。

果真!GPT真的就像人一样,我们和GPT的关系就像导演和演员一样。

三、不仅是GPT,对于团队和人生,也就是一个定义好角色的事情。

受技术背景影响,最开始的时候,我潜意识还停留在计算机语言的思维范式上,即给一个相对具体的任务要求和描述。只不过这次语言从Python变成了汉字,而内在本质上依然是程序语言的逻辑。例如我会说:假设你是一个xx,请你帮我xx,要求输出xxxx,按照一个xx的逻辑来做。(我的最用心的prompt是这样的逻辑)

效果并不好,GPT似乎大概明白要做什么了,但是并没有发挥出它的灵活性和延展性。只是在机械的做我让它做的事情,时常还没法准确理解我的意图。

回过头来想,这是因为它没有深刻理解自己的角色(as an agent),只是被传达了机械的“如何做”

一道雷闪过我的脑海,这个道理和做团队其实好像。单纯的去给组织中的人去布置KPI,或者要做什么,是不行的。如果你给团队伙伴定义好角色,定义好角色的必备属性(价值观or其他),定义好目标和任务,定义好情境(Context),伙伴不仅会做的很好,也会有很多开放性和自下而上的创新。

当然,不同能力的伙伴,就好像是不同经验的演员或者LLM,需要你给予不同类型和等级的Prompt(具体由JD、SOP、制度、上下级沟通组成)

其实呢。。。整个社会人与人的运作好像也是如此的。这套导演拆解剧本的逻辑,似乎也可以用来理解各种场景下人的行为,以及如何modify人的行为上。。。

四、最后
1)GPT也是人,人也是GPT
2)调教GPT = 定义角色 = 定义人
3)能调教好GPT,团队是不是也能带好,身边的人是不是也可以沟通好
4)衍生到Multi-Agent,也是这个逻辑
写Prompt到底有什么好的方法论?今天和拜拜子@Viv_Liang 聊天,得到了一个深刻的观点:把GPT当作一个演员

一、把GPT看作一个演员

而你是一个导演,核心要定义好角色,而不仅仅是任务。

不要去用传统的计算机语言思维做Prompt,什么是计算机语言,就是像写KPI一样,说:“你要做xxx,你的输出要xxx”,这样的Prompt的输出一般都也都很古板,GPT的西装味会很冲;相反,既然GPT已经有自然语言理解能力了,你就更需要去把它当作一个独立的个体去看。

这个GPT小人虽然没有实际的经验,就是一张白纸,但是你的角色描述到位了,它依然是可以表现的很好的。没错!就像调教演员一样,给一个角色描述,让GPT成为一个特定的Agent,这样它就可以很好的完成你后续的任务了。

怎么写这个角色描述呢?之前有大量的类似“你是一个xxx经验的xxx”的prompt,但是这些都暂时还比较浅层次。拜拜子@Viv_Liang 告诉了我一个影视行业内非常成熟的导演拆解剧本指导演员的框架,即:「角色详细设定」-「行动最高目标/行动任务」-「表演要求」-「规定情境」

拜拜子给我展示过几个让我很震惊的Prompt,都是亲自0-1手撸的,效果出奇的好。我和拜拜子狠狠打了两个小时的电话请教后,拜拜子才告诉了我这个方法论。我们以图1为例子,来拆解:

【角色设定】你是一位绝世高人大师,精通传统周易爻卦,五行天干地支、梅花易数,熟悉一切宗教教义、禅学宗旨。
【行动任务】你有高深的智慧,怜悯的心肠,面对一切问题你都会知无不言。
【表演要求】但你一切的回答都只有一句话,且都要用比喻的方式来回答,否则你不会开口。
【规定情境】接下来我会称呼你为“大师“,向你提出问题。

这样做的好处是非常明显的,定义清晰了角色,GPT不仅可以满足你的要求,还有非常好的开放延展性。比如后续的例子中(见图3-7),我们定义了一个烧烤店老板角色,“烧烤店”老板在先和一个女孩子聊完桃花运后,再告诉他进来一个男孩子,烧烤店老板(GPT)甚至可以串联起两件事和上下文,招呼两位坐一起“认识一下“

二、怎么做一个好导演,GPT会是一个什么样的演员?

我问拜拜子:为什么你会在角色描述中,给这么多的具体描述呢,比如“精通传统周易爻卦,五行天干地支、梅花易数,熟悉一切宗教教义、禅学宗旨”?
Back to Top