关于AIGC人工智能、思维方式、知识拓展，能力提升等。投稿/合作： @inside1024_bot
AIGC 领域的最新工具、开源项目以及行业大事件
AIGC 领域的最新工具、开源项目以及行业大事件
查特帕斯4.0(支持语音），仅需25元/月，提供账号密码和Token两种接入方式。
有干净的I/P可自己直登官网，我会提供账号。
无番茄或不懂番茄，我会提供Token和免番茄网站。
**优势：**稳定、高效，支持3.5和4.0版本且支持原版官网插件。
**缺点：**不支持第三方外部插件（如y猴、Chrooome插件)。
需求可自选。
【闲鱼】https://m.tb.cn/h.559pXwF?tk=pxS4WZGRZ2d CZ3457 「我在闲鱼发布了【查特帕斯4.0(支持语音），仅需25元/月，提供官网直登账号密码】」
点击链接直接打开
BOT（聊天机器人）通常需要一种新的通讯协议来与用户进行交互。这种协议通常是一种基于文本或语音的交互协议，用于指导人机对话的流程。
现有的通讯协议，如HTTP和SMTP等，主要是为人类之间的交流设计的，它们不适合机器人之间的交互。因此，为了使BOT能够更好地与用户进行交互，需要开发新的通讯协议，例如基于WebSocket的通讯协议。
WebSocket是一种双向通信协议，可以在客户端和服务器之间建立持久的连接，并允许双方随时发送和接收数据。这种通讯协议可以使BOT更好地感知用户的意图和情感，并作出相应的响应。同时，这种通讯协议也可以提高机器人的响应速度和交互效率，提供更好的用户体验。
因此，开发基于WebSocket的通讯协议可以为BOT提供更好的交互体验和更广泛的应用场景。
现有的通讯协议，如HTTP和SMTP等，主要是为人类之间的交流设计的，它们不适合机器人之间的交互。因此，为了使BOT能够更好地与用户进行交互，需要开发新的通讯协议，例如基于WebSocket的通讯协议。
WebSocket是一种双向通信协议，可以在客户端和服务器之间建立持久的连接，并允许双方随时发送和接收数据。这种通讯协议可以使BOT更好地感知用户的意图和情感，并作出相应的响应。同时，这种通讯协议也可以提高机器人的响应速度和交互效率，提供更好的用户体验。
因此，开发基于WebSocket的通讯协议可以为BOT提供更好的交互体验和更广泛的应用场景。
该技术由斯坦福大学和Adobe 研究团队共同开发，主要解决了ChatGPT在处理长篇、结构复杂的文档（如PDF、网页、演示文稿等）时遇到理解不全或回答问题不准确的问题。
PDFTriage通过先了解文档的结构，然后精准地找到与用户问题相关的部分，最后用语言模型生成答案，从而解决了传统模型在处理长篇和复杂结构文档时的不足。
大型语言模型（LLM）在处理长篇、结构复杂的文档时面临以下几个主要问题：
1、上下文窗口限制：LLM通常有一个固定的上下文窗口大小，这意味着它一次只能处理有限数量的文本“令牌”（tokens）。对于长篇文档，这就需要进行预处理或分割，以便模型能够处理。
2、文档结构忽略：传统的LLM通常只处理纯文本，忽略了文档的结构信息（如页面、表格、标题等）。这在处理PDFs、网页或演示文稿等结构复杂的文档时会导致问题。
3、查询不准确：由于缺乏对文档结构的理解，当用户提出与文档结构有关的问题（例如，“表3中哪一年的收益最高？”）时，传统的LLM往往无法准确回答。
4、信息获取不全面：在处理结构复杂的文档时，仅仅依赖文本内容可能会导致信息获取不全面或不准确。
工作原理：
PDFTriage技术旨在解决这一问题，它能根据文档的结构信息，准确地回答用户提出的各种问题。例如，用户可以提出“请总结第5-7页的内容”或“表3中哪一年的收益最高”等问题，PDFTriage能够准确地提供答案。
获取元数据：首先，该技术会生成文档的结构化元数据表达，包括文档各个部分（如段落、标题、表格等）的信息。
选择相关内容：当用户提出一个问题时，该技术会根据元数据选择与问题最相关的文档部分（如特定页面、表格等）。比如，如果问题是“第5-7页的内容是什么？”，它会直接定位到这几页的内容。
生成答案：最后，选定的文档部分和用户的问题会被LLM处理，以生成准确的答案。
实验评估：
研究者创建了一个包含约900个问题和90份文档的数据集进行评估。实验结果显示，PDFTriage技术在处理各种类型的文档时都表现出色，优于现有的方法。
用户反馈：
根据用户反馈，PDFTriage生成的答案在多页任务（如结构问题和表格推理）中排名更高，而在一般文本任务（如分类和文本问题）中排名较低。然而，在所有问题类别中，PDFTriage都优于页面检索和块检索方法。
而过去一些通过引入先验的方式提升模型能力，在参数量上去之后可能反过来制约了模型。
11. 语言只是世界的一个投影。真正的未来是多模态，在这一点上，OpenAI做得很慢，慢得让全世界着急，它却又走得比任何人都要快。真正的世界模型还在后头。
12. 在高校，尤其是国内高校很难再做出有意义的工作了，有机会的话还是进厂做大模型刷新认知。
11. 语言只是世界的一个投影。真正的未来是多模态，在这一点上，OpenAI做得很慢，慢得让全世界着急，它却又走得比任何人都要快。真正的世界模型还在后头。
12. 在高校，尤其是国内高校很难再做出有意义的工作了，有机会的话还是进厂做大模型刷新认知。
1. 训练起来大模型和训练出有通用能力的模型完全是两码事。
目前国内大模型只能说训练起来了，但是远无技术壁垒，这是大厂本就应该具备的能力，并不值得骄傲。
2. 具备通用能力的大模型，入门参数量可能不是GPT3.5的175B，可能是GPT4的1.8T。而且这仅仅是必要条件，大规模的高质量语料也许才是现阶段除OpenAI以外其他企业真正的瓶颈所在。
3. 如果瓶颈真的在语料，我很悲观这会成为比芯片更大的壁垒。
因为人类最高质量的语料是书籍和论文，而真正高质量的书籍和论文掌握在西方世界手里。
4. 现阶段，最关键的是把智能做上去。诸如长文本建模，性能优化，应用场景这些一点都不关键。至少对有出息企业来说是这样，如果只是想做做应用就另当别论了。
5. 拿Llama2 Finetune刷榜意义不大，在特定数据集上刷得比GPT-4高并不能说明任何问题。
国内厂商最搞笑的是把C-eval的数据丢进训练集里面，然后再在C-eval上刷榜，各种吊打GPT，这种行为跟芯片造假的性质差不多，让国人认不清差距，以为GPT-4根本没有什么壁垒，国内厂商已经很接近了。
事实是，如果GPT4是100分的话，国产的大模型能拿个10分已经烧高香了。
6. 知识能力可能不是个事，GPT4除了四则运算会犯傻逼错误之外，很少犯傻逼错误。而且推理能力比其他模型要强太多太多，我想其中可能有特别的建模方式，不清楚是不是RLHF带来的收益。
7. 数学能力不是做算术，也不是做高考题。而是有数学直觉，推导，证明的能力。目前我只在GPT4上看到了拥有数学直觉，但证明的能力还很欠缺。
8. 流量不是大模型要考虑的事情，大模型要解决的是人类面临的难题，
比如解决人类还没解决的科学问题去扩展人类的智能；
帮助企业做商业计划优化市场经济；帮助社会建立更健全体系等等，达到千金一Token的效果。否则只是陪用户聊天，ROI很难做正。
9. 在国内做LLM其实竞争不大，因为大家做事都太急太糙，目前看来大家都没太大出息。
预计两年内不会有太好的成果，而我也非常期待被打脸。
10. 两个东西需要重新思考：在过去做不Work的想法，也许在大模型下可以重新尝试，说不定就Work了；在小模型下做Work的想法，也许在一定规模之后就不再Work了。
原因很简单，过去不Work的做法也许只是模型能力不够无法按照我们的预期去拟合；
