关于AIGC人工智能、思维方式、知识拓展，能力提升等。投稿/合作： @inside1024_bot
AIGC 领域的最新工具、开源项目以及行业大事件
AIGC 领域的最新工具、开源项目以及行业大事件
今年几乎所有有KOL属性的B站up主都在开辟新能源车和AI这两块的内容，因为这两个领域的甲方在今年的投放增量最明显，新能源和AI本身的池子在扩大，另外B站也是这两类甲方没法绕开的PR阵地。
对于新能源汽车来说，这类客单价高、决策链路长的消费品，本身的购买决策偏向于理性。虽然B站现阶段很难说转化率有多高，但汽车手机这种品类的产品口碑和市场认知是在B站这个平台上形成的，这就是为什么就算大家都在说B站商业化的各类问题，但手机汽车品牌在B站投放的总预算每年一直在上升。
对AI企业来说，全中国再也找不到像B站这样，年轻人多、用户整体教育层次高、内容时长长（能相对完整地把AI企业宣传点传达出去）、对新事物接受度高、对科技有基础认知的平台了。和新能源车不太一样的是，AI大模型或者其他AI应用现阶段是完全可以在B站形成高转化的。所以不管是AI大模型，还是硬件终端产品（比如ai手机、aipc），或者是云智能产品，几乎有一个算一个，都给了B站不少预算。
综合这两个领域能看到，B站的一个优势就是“心智影响力”，也就是能够影响市场认知和消费者判断，这是B站在商业化上很重要的一个立足点和具有差异化的独特价值。另一个是数码科技等泛知识内容在B站本身具有沉淀，这个基础决定了这类投放会相对更受欢迎。
所以说B站up主商业化不行也是分情况分内容类型的，据我所知，AI/科技垂类一定体量以上的up主，在过去一年都活的还不错。2023年很多这个赛道的up主都接到了两位数的商单，今年的流水应该还会增加。
对于新能源汽车来说，这类客单价高、决策链路长的消费品，本身的购买决策偏向于理性。虽然B站现阶段很难说转化率有多高，但汽车手机这种品类的产品口碑和市场认知是在B站这个平台上形成的，这就是为什么就算大家都在说B站商业化的各类问题，但手机汽车品牌在B站投放的总预算每年一直在上升。
对AI企业来说，全中国再也找不到像B站这样，年轻人多、用户整体教育层次高、内容时长长（能相对完整地把AI企业宣传点传达出去）、对新事物接受度高、对科技有基础认知的平台了。和新能源车不太一样的是，AI大模型或者其他AI应用现阶段是完全可以在B站形成高转化的。所以不管是AI大模型，还是硬件终端产品（比如ai手机、aipc），或者是云智能产品，几乎有一个算一个，都给了B站不少预算。
综合这两个领域能看到，B站的一个优势就是“心智影响力”，也就是能够影响市场认知和消费者判断，这是B站在商业化上很重要的一个立足点和具有差异化的独特价值。另一个是数码科技等泛知识内容在B站本身具有沉淀，这个基础决定了这类投放会相对更受欢迎。
所以说B站up主商业化不行也是分情况分内容类型的，据我所知，AI/科技垂类一定体量以上的up主，在过去一年都活的还不错。2023年很多这个赛道的up主都接到了两位数的商单，今年的流水应该还会增加。
卧槽，发现一个巨牛批的 AI 视频剪辑工具，这才是完全以 AI 功能构建的视频剪辑产品。
Captions 这个产品可以自动识别超长视频的有价值判断并且自动剪辑成多条适合传播的短视频。
生成的短视频可以选择对应的字幕模板，并且支持AI 自动在对应的视频片段添加音效、贴纸等增加氛围的内容。
此外还支持AI眼神注视、AI 降噪、 AI 唇形同步、 AI 调色等一系列自动化的 AI 能力。
最重要的还是网页版本的，任何平台都能用，这要完善一点不得把剪映干稀烂？
可惜的是暂时还不支持翻译，看选项后面会有自动字幕翻译。
这里体验：https://www.captions.ai/
Captions 这个产品可以自动识别超长视频的有价值判断并且自动剪辑成多条适合传播的短视频。
生成的短视频可以选择对应的字幕模板，并且支持AI 自动在对应的视频片段添加音效、贴纸等增加氛围的内容。
此外还支持AI眼神注视、AI 降噪、 AI 唇形同步、 AI 调色等一系列自动化的 AI 能力。
最重要的还是网页版本的，任何平台都能用，这要完善一点不得把剪映干稀烂？
可惜的是暂时还不支持翻译，看选项后面会有自动字幕翻译。
这里体验：https://www.captions.ai/
简单体验了一下AI 生产力工具 Flowith，太强了。
很开心有人能对 AI 原生产品的 UI 和交互有如此深入的思考。
整个产品在生成式 UI 的探索上比现在的所有产品都要靠前。
而且很好的结合了无线画布和思维导图的优势，巧妙的用卡片来承接对应不同数据格式的展示，卡片样式的适配也非常多。
在输入的时候还会巧妙的利用光效对用户进行引导。
一个小问题，Midjourney 图片生成的时候传输的提示词貌似有问题，不应该直接传输中文。
这里尝试：https://flo.ing/
很开心有人能对 AI 原生产品的 UI 和交互有如此深入的思考。
整个产品在生成式 UI 的探索上比现在的所有产品都要靠前。
而且很好的结合了无线画布和思维导图的优势，巧妙的用卡片来承接对应不同数据格式的展示，卡片样式的适配也非常多。
在输入的时候还会巧妙的利用光效对用户进行引导。
一个小问题，Midjourney 图片生成的时候传输的提示词貌似有问题，不应该直接传输中文。
这里尝试：https://flo.ing/
📖 https://github.com/hardhackerlabs/book
我们最终决定用开源的方式来发布这本书，因为我们产品还在增长，所以 star ⭐️ 仓库，关注内容的持续更新！😘
微软这个VASA-1通过照片和声音生成人物说话视频的项目强的有点离谱。
从显示效果来看基本不存在瑕疵了。视频生成的技术瓶颈又一个被突破。
项目特点：
✦ 可以捕捉到大量的情感和表情细微差别以及自然的头部动作，从而增强真实感和生动感。
✦ 支持接受可选信号作为条件，例如主眼注视方向和头部距离，以及情绪偏移。
✦ 能够处理超出训练分布的照片和音频输入。它可以处理艺术照片、歌唱音频和非英语语音。
✦ 支持表情和姿势的编辑。
✦ 在离线批处理模式下以每秒 45 帧的速度生成 512x512 大小的视频帧，在在线流模式下可支持高达每秒 40 帧的速度，之前的延迟时间仅为 170 毫秒。
项目地址：https://www.microsoft.com/en-us/research/project/vasa-1/
从显示效果来看基本不存在瑕疵了。视频生成的技术瓶颈又一个被突破。
项目特点：
✦ 可以捕捉到大量的情感和表情细微差别以及自然的头部动作，从而增强真实感和生动感。
✦ 支持接受可选信号作为条件，例如主眼注视方向和头部距离，以及情绪偏移。
✦ 能够处理超出训练分布的照片和音频输入。它可以处理艺术照片、歌唱音频和非英语语音。
✦ 支持表情和姿势的编辑。
✦ 在离线批处理模式下以每秒 45 帧的速度生成 512x512 大小的视频帧，在在线流模式下可支持高达每秒 40 帧的速度，之前的延迟时间仅为 170 毫秒。
项目地址：https://www.microsoft.com/en-us/research/project/vasa-1/
卧槽 MagicClothing 这个AI 换装的演示效果有点强啊。
而且还可以与 ControlNet 和 IP-Adapter 等其他技术结合使用。还是开源的，期待对应的 ComfUI 节点。
详细介绍：
推出了一种名为 Magic Clothing 的新型网络架构，它基于潜在扩散模型（LDM）进行开发，专门处理一项新的图像合成任务——服装驱动的图像合成。
该系统旨在生成根据不同文本提示定制的、穿着特定服装的角色。在这一过程中，图像的可控性至关重要，主要是要确保服装的细节得以保留，并且生成的图像要忠实于文本提示。
为了实现这一点，我们开发了一种服装特征提取器，用以详细捕捉服装的特征，并通过自注意力融合技术，将这些特征有效整合到预训练好的LDMs中，确保目标角色的服装细节不发生改变。
同时，我们还使用了一种称为联合无分类器指导的技术，以平衡服装特征和文本提示在生成图像中的影响。
此外，我们提出的服装提取器是一个可插拔模块，可以应用于多种经过微调的LDMs，并能与 ControlNet 和 IP-Adapter 等其他技术结合使用，进一步提高生成角色的多样性和可控性。
我们还开发了一种名为匹配点LPIPS（MP-LPIPS）的新型评估指标，用于评价生成图像与原始服装之间的一致性。
论文地址：https://arxiv.org/abs/2404.09512
而且还可以与 ControlNet 和 IP-Adapter 等其他技术结合使用。还是开源的，期待对应的 ComfUI 节点。
详细介绍：
推出了一种名为 Magic Clothing 的新型网络架构，它基于潜在扩散模型（LDM）进行开发，专门处理一项新的图像合成任务——服装驱动的图像合成。
该系统旨在生成根据不同文本提示定制的、穿着特定服装的角色。在这一过程中，图像的可控性至关重要，主要是要确保服装的细节得以保留，并且生成的图像要忠实于文本提示。
为了实现这一点，我们开发了一种服装特征提取器，用以详细捕捉服装的特征，并通过自注意力融合技术，将这些特征有效整合到预训练好的LDMs中，确保目标角色的服装细节不发生改变。
同时，我们还使用了一种称为联合无分类器指导的技术，以平衡服装特征和文本提示在生成图像中的影响。
此外，我们提出的服装提取器是一个可插拔模块，可以应用于多种经过微调的LDMs，并能与 ControlNet 和 IP-Adapter 等其他技术结合使用，进一步提高生成角色的多样性和可控性。
我们还开发了一种名为匹配点LPIPS（MP-LPIPS）的新型评估指标，用于评价生成图像与原始服装之间的一致性。
论文地址：https://arxiv.org/abs/2404.09512
