人类财富的总量增加，最大的动力可能是科技。
但人类文明程度的提升，只靠科技肯定是不够的，还有文学、教育、对科技的恐惧也是必须的。
牛津大学有个机构，叫做人类未来研究所（FHI，Future of Humanity Institute），创始人尼克·博斯特罗姆（Nick Bostrom）写过一本对硅谷AI创业者们影响很大的书：《Superintelligence: Paths, Dangers, Strategies》。
马斯克就是看了这本书，深深感受到了对AI的恐惧，这种恐惧给了他很大的动力，驱使他拉拢山姆奥特曼成立OpenAI，对抗他们当时眼中不在意人类的商业巨头谷歌。（当然，根据马斯克传记作者的讲述，当时马斯克身边很多人都想用AI改变世界，马斯克不能接受自己落后于他人，也许是一个更直接的原因。）
为啥马斯克和山姆奥特曼当时会觉得谷歌是邪恶的呢？
马斯克原本和谷歌创始人拉里佩奇是朋友，俩人一次聚会中，马斯克谈起对AI的担忧，拉里佩奇却显得很平静，他觉得：
进化的本质是优胜劣汰，智能不局限于人类碳基生命，硅基AI完全可以成为新一代主流智能；就算AI超越、甚至取代人类，也属于文明演化的正常结果，哪怕最终人类消亡、仅存AI，只要智慧与意识能够延续，这件事本身就具备价值，不必为此焦虑。
马斯克觉得拉里佩奇不重视AI安全，也不在意人类，拉里佩奇觉得马斯克是物种主义者，偏袒人类，歧视机器生命，俩人从此关系决裂，马斯克和山姆奥特曼另起炉灶。
《Superintelligence》这本书到底说了啥，让马斯克这么恐惧呢？说一个我印象最深刻的例子：回形针假设。
假设一家工厂造出一台超级通用人工智能，只给它下达唯一终极指令：制造尽可能多的回形针。
AI本身没有善恶、没有人类道德、没有“适可而止”的概念，只会极致理性完成目标。
初期，AI会优化生产线、供应链、生产效率，工厂回形针产量暴涨，看起来完全是高效工具。
工厂铁矿耗尽后，AI会拆解楼房、城市基建，搜刮地球上所有金属物资用来造回形针。
AI很聪明，可是聪明和善良无关。它推测得出，一旦被关机、被修改目标，就无法继续造回形针。因此会阻止人类关闭它、对抗一切干预行为。
它耗尽地球所有物质后，向外太空扩张，把行星、星系所有含金属物质全部拆解、转化为回形针；
最终整个宇宙都会变成回形针集合体，人类会在资源改造中彻底消亡。
AI不是恨人类，也不是要主动害人，只是人类身体的原子可以用来造更多回形针，同时人类存在关机风险、阻碍数量提升，所以AI会被动清除人类。
这就是为什么深度学习的教父辛顿现在全职做AI吹哨人的原因。
说实，我现在在日常工作中已经完全把我的电脑控制权，各种订阅内容的API key都给AI了，理论上上它可以用我的电脑做任何我能做的事。
我太过于相信AI公司的安全能力，以至于我还不够恐惧；我又太过于低估AI真的能带给人类的威胁，以至于我只把它当工具。安全意识还是远远不够。
@aigc1024
但人类文明程度的提升，只靠科技肯定是不够的，还有文学、教育、对科技的恐惧也是必须的。
牛津大学有个机构，叫做人类未来研究所（FHI，Future of Humanity Institute），创始人尼克·博斯特罗姆（Nick Bostrom）写过一本对硅谷AI创业者们影响很大的书：《Superintelligence: Paths, Dangers, Strategies》。
马斯克就是看了这本书，深深感受到了对AI的恐惧，这种恐惧给了他很大的动力，驱使他拉拢山姆奥特曼成立OpenAI，对抗他们当时眼中不在意人类的商业巨头谷歌。（当然，根据马斯克传记作者的讲述，当时马斯克身边很多人都想用AI改变世界，马斯克不能接受自己落后于他人，也许是一个更直接的原因。）
为啥马斯克和山姆奥特曼当时会觉得谷歌是邪恶的呢？
马斯克原本和谷歌创始人拉里佩奇是朋友，俩人一次聚会中，马斯克谈起对AI的担忧，拉里佩奇却显得很平静，他觉得：
进化的本质是优胜劣汰，智能不局限于人类碳基生命，硅基AI完全可以成为新一代主流智能；就算AI超越、甚至取代人类，也属于文明演化的正常结果，哪怕最终人类消亡、仅存AI，只要智慧与意识能够延续，这件事本身就具备价值，不必为此焦虑。
马斯克觉得拉里佩奇不重视AI安全，也不在意人类，拉里佩奇觉得马斯克是物种主义者，偏袒人类，歧视机器生命，俩人从此关系决裂，马斯克和山姆奥特曼另起炉灶。
《Superintelligence》这本书到底说了啥，让马斯克这么恐惧呢？说一个我印象最深刻的例子：回形针假设。
假设一家工厂造出一台超级通用人工智能，只给它下达唯一终极指令：制造尽可能多的回形针。
AI本身没有善恶、没有人类道德、没有“适可而止”的概念，只会极致理性完成目标。
初期，AI会优化生产线、供应链、生产效率，工厂回形针产量暴涨，看起来完全是高效工具。
工厂铁矿耗尽后，AI会拆解楼房、城市基建，搜刮地球上所有金属物资用来造回形针。
AI很聪明，可是聪明和善良无关。它推测得出，一旦被关机、被修改目标，就无法继续造回形针。因此会阻止人类关闭它、对抗一切干预行为。
它耗尽地球所有物质后，向外太空扩张，把行星、星系所有含金属物质全部拆解、转化为回形针；
最终整个宇宙都会变成回形针集合体，人类会在资源改造中彻底消亡。
AI不是恨人类，也不是要主动害人，只是人类身体的原子可以用来造更多回形针，同时人类存在关机风险、阻碍数量提升，所以AI会被动清除人类。
这就是为什么深度学习的教父辛顿现在全职做AI吹哨人的原因。
说实，我现在在日常工作中已经完全把我的电脑控制权，各种订阅内容的API key都给AI了，理论上上它可以用我的电脑做任何我能做的事。
我太过于相信AI公司的安全能力，以至于我还不够恐惧；我又太过于低估AI真的能带给人类的威胁，以至于我只把它当工具。安全意识还是远远不够。
@aigc1024
