刚写周刊的时候发现阶跃开源的这个 Step Audio 2-7B 端到端语音模型有点意思。
应该是第一个支持推理的端到端语音模型，支持本地部署应该比 Open AI 的 GPT-realtime 便宜很多，发布这几天已经在 huggingface trending 榜上了。#ai创造营#
实时语音对话这点，阶跃的模型一贯做的非常好，而且能够根据不同对话场景和对话信息做出语境适配的回应。
这里比较强的是理解能力，支持通过推理理解语义信息、非语言信息以及非声带信息，让模型可以更好的感知说话人的年龄、性别甚至是情绪。
前几天橘子分享的时候说我们现有的语音转文字去理解语音这种方式可能会丢失 90% 的信息，因为说话人的音调、语气、情绪都没有被传达出来，比如图片里面他就判断了我的年龄以及情绪，还有环境音可以判断所在场景。
感觉 Step Audio 2-7B 这次走在了正确的路上，如果加上更加细致和原生的音频理解的话，语音对话模型的上限和应用场景会变得非常多。
另外 Step Audio 2-7B 还支持工具调用与多模态 RAG，方便开发者去加上适合自己应用场景的知识，实时语音对话的时候可以执行搜索。比如各种垂类行业的语音客服就适合这样，而且还能检索到语音后切换音色。
这次开源了两个模型 Step-Audio 2 mini 和 Step-Audio 2 mini base，7B 的大小让本地部署成为可能，只需要 24G 显存就行，对需要端到端语音模型的开发者来说很实用
可以在阶跃 AI APP里面体验这次的新模型，开启语音通话后可以在小跃新功能里面选择，深度聆听就可以体验音频推理。
模型下载：github.com/stepfun-ai/Step-Audio2
应该是第一个支持推理的端到端语音模型，支持本地部署应该比 Open AI 的 GPT-realtime 便宜很多，发布这几天已经在 huggingface trending 榜上了。#ai创造营#
实时语音对话这点，阶跃的模型一贯做的非常好，而且能够根据不同对话场景和对话信息做出语境适配的回应。
这里比较强的是理解能力，支持通过推理理解语义信息、非语言信息以及非声带信息，让模型可以更好的感知说话人的年龄、性别甚至是情绪。
前几天橘子分享的时候说我们现有的语音转文字去理解语音这种方式可能会丢失 90% 的信息，因为说话人的音调、语气、情绪都没有被传达出来，比如图片里面他就判断了我的年龄以及情绪，还有环境音可以判断所在场景。
感觉 Step Audio 2-7B 这次走在了正确的路上，如果加上更加细致和原生的音频理解的话，语音对话模型的上限和应用场景会变得非常多。
另外 Step Audio 2-7B 还支持工具调用与多模态 RAG，方便开发者去加上适合自己应用场景的知识，实时语音对话的时候可以执行搜索。比如各种垂类行业的语音客服就适合这样，而且还能检索到语音后切换音色。
这次开源了两个模型 Step-Audio 2 mini 和 Step-Audio 2 mini base，7B 的大小让本地部署成为可能，只需要 24G 显存就行，对需要端到端语音模型的开发者来说很实用
可以在阶跃 AI APP里面体验这次的新模型，开启语音通话后可以在小跃新功能里面选择，深度聆听就可以体验音频推理。
模型下载：github.com/stepfun-ai/Step-Audio2
