从单体智能到群体智能:大模型的未来之路
大模型现状与问题
11月20日,在酷+科技峰会科技创新专场上,RockAI CEO刘凡平发表了一场题为《大模型与物理空间:从单体智能到群体智能》的演讲。他首先对当前大模型的现状和面临的问题进行了深入分析。现有的大模型虽然在某些领域取得了显著成果,但仍然存在诸多局限。这些模型大多依赖于海量数据和强大的算力,这不仅导致了资源的浪费,还使得模型的学习模式与人类的真实学习方式相去甚远。具体来说,Transformer架构在存储带宽、训练效果、多模态能力、实时性和能耗散热等方面都存在问题。
新架构的诞生
面对这些问题,刘凡平介绍了Yan架构的诞生背景及其优势。Yan架构是国内首个非Transformer架构的大模型,它在性能和效率上超越了同类产品,达到了Llama3 8B的水平。Yan架构的创新之处在于其高效的训练和推理能力,能够在多种低算力设备上部署,如树莓派。这一架构基于MCSD和类脑激活机制,后者通过模拟人脑神经元的激活模式,选择性地激活部分参数,从而大幅降低对算力的依赖,实现了训练与推理的同步,显著提升了模型的整体性能。
群体智能的未来
刘凡平进一步阐述了RockAI对于通用人工智能(AGI)终局的看法,认为群体智能是未来发展的方向。RockAI在大模型领域率先提出了“群体智能”的概念,并找到了实现这一目标的具体路径。群体智能的实现需要满足三个条件:自主学习、人机交互和适配更多终端。为了达成这一目标,RockAI规划了四个阶段的迭代路线:创新性基础架构、多元化硬件生态、自适应智能进化和协同化群体智能。目前,RockAI已经进入了第三个阶段,致力于在算法层面推动群体智能的发展。
与OpenAI等公司依赖大量算力和数据的模式不同,RockAI更加注重算法的优化和创新。刘凡平强调,算法才是解决当前大模型问题的核心。通过不断优化算法,RockAI希望在未来能够实现真正意义上的群体智能,为人工智能的发展开辟新的道路。
10天前
39分前
5小时前