高质量的数据已经耗尽，传统的预培训是最后的。大型瓶颈模型如何破坏？当前（多模式）大型模型存在“饥饿数据”的问题：
高质量的数据已经耗尽，传统的预培训是最后的。大型瓶颈模型如何破坏？当前的（多模式）大型模型是“饥饿数据”的问题：它们的性能高度取决于在训练阶段的支持大量高质量数据（图形对准）。但是，这种高价值数据资源在现实世界中迅速耗尽，并且是依靠真实驱动驱动的模型功能的传统途径。在2024会议上，Openai联合创始人Ilya Sutnai Sutnai清楚地说：“我们知道它将结束。”这种判断已成为对传统准备游行的极限的明确警告。为了继续提高绩效，研究的主要方向是NBEGIN转向推理优化和训练后微调（例如增强研究）。但是，最新的研究表明，这种改进高度取决于Foundat的能力离子由训练前模型列出。如果该模型在早期阶段未能系统地获得相关的功能，那么随后的优化就像是在沙子中开发高层建筑物 - 开发是有限的，风险相对较高。在“自我进化”功能中，不同模型的性能也有很大的变化，它们的本质仍然是“问题策略”的扩展：在没有技术支持的情况下训练的训练仍然很难应对现实世界中的复杂性和变化。面对这种瓶颈，大型模型的未来路径在哪里？合成数据可能是Pagingra当前功能上限的关键，Microsoft Research的科学家Shital Shah指向社交媒体。最近，香港和中国人以及诸如Tsinghua University等大学都建议，将来大型模型的持续改进依赖于“预训练，扩大Computi”的深层协调在认可阶段和训练后的优化阶段。“这种观点在单个训练前的道路上摧毁了传统的希望范式，并为建造下一代多模式基本模型（基础MLLMS）的建设提供了一个新的想法。 https://arxiv.org/abs/2503.12303v5在此基础上，研究团队提出了创新的Balangkas-Sicog（自我改进的理解），旨在恢复大型模型的发展，从而恢复了五个链的进步，并恢复了五个链的进步。粒度相关推理也采用了“结构化思维链”的机制模型集成和复杂的多模式信息推理能力。 SICOG通过数据产生的自libled循环 +语义滤波机制的数据更大。该模型可以实现在零manu -mang mang注释条件下提供的能力的持续演变，并真正朝着Mahtasus和自主范式研究迈进。 SICOG的建议不仅破坏了当前模型数据分离，计算能力和优化优化的瓶颈，而且还为未来的通用人工智能（AGI）模型的构建提供了新的可扩展性且可疑的路径。 SICOG：三位一体协作框架允许模型知道“自我发展”。传统的大型模型（MLLM）依赖于大量注释的数据和静态训练范式，并面对数据缺陷的双重瓶颈和有限的能力。为了打破这一难题，本文提出了一个新的情节Sicog（自我改善的认知），该图首次发展了三位一体-EV涵盖“训练后增强 - 推荐优化 - RE-PRE-TREFIFERINGENT的增强”，重新定义训练前的边界和注入动态认知和对MLLMS下一个能力的连续研究。 SICOG合作的三个阶段包括：训练后增强：使用少量高质量数据和主要标记为数据标记的数据推理；预训练以实现模型能力的持续发展。在“实践中的学习和进化实践”中：从少量种子数据开始，该模型通过“照片摘要 +解决问题”来积极地构建多任务样本，以实现数据生成和研究的封闭环节。初步训练的数据可以很好地扩展，而无需大量的手动注释，从根本上减轻了当前高质量多模式数据的缺陷。描述链（鳕鱼）：让模型“像人类一样查看图片”鳕鱼（链说明）is结构化的感知方案，允许该模型逐图观察图像层，例如侦探，从主题到从关系到背景的细节，从而对图像产生完整而合乎逻辑的严格理解。以“女孩弹吉他”为例的图像的获取，传统模型只能对“一个女孩弹吉他”的粗略描述，而鳕鱼则分为五个有序的阶段，逐渐逐渐加深理解：1。提取主题的内容，首先提取图像的主要语义元素，例如：“在他的手臂上进行了构成的构成，并构成了构成的构成。 审查。 2。查看细节并观察细节的详细信息，例如：“吉他是带有浅色指板的木材经典风格，具有柔和的照明，提供了温暖的环境。”获取低级别的信息，例如纹理，颜色，ilaw和阴影以增强描述的财富和准确性。 3。考虑描述图像中元素之间关系的关系的特征，例如：“他坐在床上，将笔记本放在小桌子上，光线弦和悬挂装饰使背景放松。”加强空间布局和语义结构的建模。 4。检查边缘/背景内容而不忽略第二个信息，例如：“房间具有背景元素，例如梳妆台，墙壁装饰等。”增加场景的语义并改善一般的理解。 5。在相互关联的描述中集成上面的观测值是在自然语言的完整，合乎逻辑的清晰描述中固定的。通过COD，该模型可以逐渐“发展伊玛希的语义结构”，从对理解的理解中取得了飞跃，并显着提高了图形对齐的质量和逻辑。结构化链-putt，COT：让模型“解决诸如领导学生”结构化的COT之类的问题是一个框架，该框架是由支持模型在面临复杂问题时做出串联判断的工作驱动的。目标任务（例如“找到三角形的一部分的长度”） - 提取基本信息并获取必要条件，例如形容词三角形，垂直线，从图像的边缘长度。 3。逻辑推理评论并判断相似三角形之间的关系，列出比例公式并取代数字的价值。 4。总结计算并通过计算获得答案，例如“选项C”。结构化的COT允许模型具有“人体解决问题的技能”，这不仅可以处理复杂的数学活动，还可以支持跨模式认知，这为认知系统模型奠定了基础。综合能力的全面能力：借助鳕鱼和结构化CO的帮助，SICOG的三个主要优势T，SICOG不仅建立了结构化的感知和lidtingrespondent的过程，而且还取得了重大的范式训练成功，并具有以下三个主要好处：1。M显着降低对高质量数据的依赖，仅需要少量的骨数据才能开始。通过优化数据优化，可以实现“零标签”扩展大型多模式数据。 2。意识到认知的动态演变，以打破传统的“训练是指生命”的传统训练模型，并支持继续学习和升级其使用能力的模型，并具有“终身研究”的特征。 3。理解和推理的结合不再限于提高理解能力。 SICOG将“理解 +推理”结合在训练阶段，以模拟过程意识的人，因此该模型在图形和图形等复杂任务中具有更强的一般通用和灵活性。实验实验：SICOG实现了模型能力的全面改进。为了验证SICOG框架的有效性，研究对12个主要的多模式检查集进行了系统的综述，涵盖了许多主要维度，例如图表理解，数学推理和反敏功能。实验结果表明，SICOG可以显着改善模型的全面性能。具体结果如下：全面的绩效继续改善。在一般分析中，模型的平均性能增加了2％-4％。尤其是在依赖多步推理的活动中，例如ScienceQA，NA表明逻辑推理和跨模式理论。解决功能。抗氧化测试（例如教皇）中幻觉的幻觉改善，模型错误率下降了1％-2％。自我生成的数据促进了正在进行的进化。随着生成的自我开发的数据数量从118,00增加0到213,000，模型的性能继续增加，显示出极好的可扩展性和学习能力；它表明，西科格的“自我进化机制”不仅可能，而且是高度衡量的。除了主流训练方法之外，SICOG的表现比主流强度蒸馏和在许多活动中的合作方法更好。实验还表明，主要模型的性能更强，其自我保护能力过程更加显着。例如，Llava-Qwen2-7b-UHD的性能提高近50％，仅比仅限LLAVA 3.1-8B-UHD高出50％。它表明，强大的基本功能不仅可以确定模型的初始性能，还可以显着增强随后的自学能力和优化。这种现象就像人类学习中的“马修效应” - “领先的学生在自学方面更好”。具有更好初始结构和知识的模型知识e可以更好地使用数据，刺激潜力并在连续发展中提高更多发展。进一步的研究表明，基于合成数据的预训练显着提高了模型的基本认知能力，从而增强了良好修复的后续效果。结果再次证明，在理解和优化后训练阶段的训练，计算扩展之间存在高水平的协同作用。只有通过打开这三个链接，我们才能不断地跳入模型功能和巨大的发展。此外，研究发现，SICOG生成的合成数据也符合规模定律：该模型的能力随着数据量的增加而继续增加。它甚至显示了模型演化中生成的数据的有效性和可扩展性。作者建议采用一种变体方法：在改善第一阶段的培训后，研究偏好已被传统的管理进行微调（SFT），以进一步增强模型的基本功能。实验结果表明，Ginanny研究在提高整体能力方面比SFT更好，尤其是在处理复杂的任务时。该结果证实了长期观点，即加强范式在特定任务中具有细微安排的好处。粒状图像感知的能力显着增强，在识别和捕获特征性采集方面显示出更高的准确性和稳定性。多模式的理解和推理能力得到了显着提高。观点：从静态实践中训练前训练的新边界通过开发一个闭环系统，涵盖“数据的产生→模型练习→能力的演变”，这是通过希望在高质量的砷注释数据中进行传统预训练而破坏的，这表明了人类机制认知的潜力。这个帧Ork不仅意识到自学和连续的模型优化，而且还针对真正的独立研究代理人奠定了稳定的基础。在本研究中，SICOG通过引入最具设计链（COD）以及与结构链（结构化COT）机制的合作来显着提高多模型模型的理解和推理能力。但是，这种发展仍然是完全独立研究的起点。将来，如果可能引入环境反馈机制（例如宝石智能场景）和连续的优化机制，则该模型有望具有学习生活的能力，并从“被动学习”到“积极成长”。通过继续联系环境，该模型不仅可以使用其自我优化的数据，而且可以主动识别盲点并动态调整学习技术，以继续改变和改进复杂的任务和环境的改变。
