关于AIGC人工智能、思维方式、知识拓展，能力提升等。投稿/合作： @inside1024_bot
AIGC 领域的最新工具、开源项目以及行业大事件
AIGC 领域的最新工具、开源项目以及行业大事件
该技术由斯坦福大学和Adobe 研究团队共同开发，主要解决了ChatGPT在处理长篇、结构复杂的文档（如PDF、网页、演示文稿等）时遇到理解不全或回答问题不准确的问题。
PDFTriage通过先了解文档的结构，然后精准地找到与用户问题相关的部分，最后用语言模型生成答案，从而解决了传统模型在处理长篇和复杂结构文档时的不足。
大型语言模型（LLM）在处理长篇、结构复杂的文档时面临以下几个主要问题：
1、上下文窗口限制：LLM通常有一个固定的上下文窗口大小，这意味着它一次只能处理有限数量的文本“令牌”（tokens）。对于长篇文档，这就需要进行预处理或分割，以便模型能够处理。
2、文档结构忽略：传统的LLM通常只处理纯文本，忽略了文档的结构信息（如页面、表格、标题等）。这在处理PDFs、网页或演示文稿等结构复杂的文档时会导致问题。
3、查询不准确：由于缺乏对文档结构的理解，当用户提出与文档结构有关的问题（例如，“表3中哪一年的收益最高？”）时，传统的LLM往往无法准确回答。
4、信息获取不全面：在处理结构复杂的文档时，仅仅依赖文本内容可能会导致信息获取不全面或不准确。
工作原理：
PDFTriage技术旨在解决这一问题，它能根据文档的结构信息，准确地回答用户提出的各种问题。例如，用户可以提出“请总结第5-7页的内容”或“表3中哪一年的收益最高”等问题，PDFTriage能够准确地提供答案。
获取元数据：首先，该技术会生成文档的结构化元数据表达，包括文档各个部分（如段落、标题、表格等）的信息。
选择相关内容：当用户提出一个问题时，该技术会根据元数据选择与问题最相关的文档部分（如特定页面、表格等）。比如，如果问题是“第5-7页的内容是什么？”，它会直接定位到这几页的内容。
生成答案：最后，选定的文档部分和用户的问题会被LLM处理，以生成准确的答案。
实验评估：
研究者创建了一个包含约900个问题和90份文档的数据集进行评估。实验结果显示，PDFTriage技术在处理各种类型的文档时都表现出色，优于现有的方法。
用户反馈：
根据用户反馈，PDFTriage生成的答案在多页任务（如结构问题和表格推理）中排名更高，而在一般文本任务（如分类和文本问题）中排名较低。然而，在所有问题类别中，PDFTriage都优于页面检索和块检索方法。
而过去一些通过引入先验的方式提升模型能力，在参数量上去之后可能反过来制约了模型。
11. 语言只是世界的一个投影。真正的未来是多模态，在这一点上，OpenAI做得很慢，慢得让全世界着急，它却又走得比任何人都要快。真正的世界模型还在后头。
12. 在高校，尤其是国内高校很难再做出有意义的工作了，有机会的话还是进厂做大模型刷新认知。
11. 语言只是世界的一个投影。真正的未来是多模态，在这一点上，OpenAI做得很慢，慢得让全世界着急，它却又走得比任何人都要快。真正的世界模型还在后头。
12. 在高校，尤其是国内高校很难再做出有意义的工作了，有机会的话还是进厂做大模型刷新认知。
1. 训练起来大模型和训练出有通用能力的模型完全是两码事。
目前国内大模型只能说训练起来了，但是远无技术壁垒，这是大厂本就应该具备的能力，并不值得骄傲。
2. 具备通用能力的大模型，入门参数量可能不是GPT3.5的175B，可能是GPT4的1.8T。而且这仅仅是必要条件，大规模的高质量语料也许才是现阶段除OpenAI以外其他企业真正的瓶颈所在。
3. 如果瓶颈真的在语料，我很悲观这会成为比芯片更大的壁垒。
因为人类最高质量的语料是书籍和论文，而真正高质量的书籍和论文掌握在西方世界手里。
4. 现阶段，最关键的是把智能做上去。诸如长文本建模，性能优化，应用场景这些一点都不关键。至少对有出息企业来说是这样，如果只是想做做应用就另当别论了。
5. 拿Llama2 Finetune刷榜意义不大，在特定数据集上刷得比GPT-4高并不能说明任何问题。
国内厂商最搞笑的是把C-eval的数据丢进训练集里面，然后再在C-eval上刷榜，各种吊打GPT，这种行为跟芯片造假的性质差不多，让国人认不清差距，以为GPT-4根本没有什么壁垒，国内厂商已经很接近了。
事实是，如果GPT4是100分的话，国产的大模型能拿个10分已经烧高香了。
6. 知识能力可能不是个事，GPT4除了四则运算会犯傻逼错误之外，很少犯傻逼错误。而且推理能力比其他模型要强太多太多，我想其中可能有特别的建模方式，不清楚是不是RLHF带来的收益。
7. 数学能力不是做算术，也不是做高考题。而是有数学直觉，推导，证明的能力。目前我只在GPT4上看到了拥有数学直觉，但证明的能力还很欠缺。
8. 流量不是大模型要考虑的事情，大模型要解决的是人类面临的难题，
比如解决人类还没解决的科学问题去扩展人类的智能；
帮助企业做商业计划优化市场经济；帮助社会建立更健全体系等等，达到千金一Token的效果。否则只是陪用户聊天，ROI很难做正。
9. 在国内做LLM其实竞争不大，因为大家做事都太急太糙，目前看来大家都没太大出息。
预计两年内不会有太好的成果，而我也非常期待被打脸。
10. 两个东西需要重新思考：在过去做不Work的想法，也许在大模型下可以重新尝试，说不定就Work了；在小模型下做Work的想法，也许在一定规模之后就不再Work了。
原因很简单，过去不Work的做法也许只是模型能力不够无法按照我们的预期去拟合；
讨论中的评论包括对 AI 生成图片的辨别能力的讨论，以及一些用户分享了他们使用不同工具和技术来生成这样的图片的方法。
有些评论者对这种图片的性质和目的提出了质疑，还有一些评论者对这种技术的潜在滥用表示担忧。
总的来说，这篇文章主要是关于 AI 生成图片的讨论和技术分享。
🔗 https://redd.it/16tnjfa
