这项由抖音SAIL团队与新加坡国立大学LV-NUS本质室团结开展的照顾发表于2025年9月，论文详备先容了他们开辟的SAIL-VL2多模态基础模子。有兴味深入了解的读者不错通过论文衔接https://huggingface.co/BytedanceDouyinContent和https://github.com/BytedanceDouyinContent探询完整照顾恶果和开源代码。

在东说念主工智能快速发展的今天，咱们时常听到各式"大模子"的讯息——参数动辄上千亿、万亿，仿佛只消实足大材干实足明智。但抖音的照顾团队却反治其身，他们像详细的厨师一样，不追求食材的奢华，而是专注于烹调武艺的深通。他们开辟的SAIL-VL2模子诚然"躯壳娇小"，仅有2B到8B个参数，却能在深切图片、视频和翰墨方面发挥出色，以致能与那些参数范围深广的"巨无霸"模子一较上下。

这个成就就像是让一个身高1米6的篮球率领员在NBA赛场上与2米高的巨东说念主们均分秋色一样令东说念主咋舌。SAIL-VL2的诀窍在于三个枢纽立异：起程点是悉心筛选和处理教师数据，就像为率领员量身定制养分餐谱；其次是渐进式教师战略，如同按序渐进的教师策画；终末是架构上的巧想，选用了零散羼杂人人系统联想，让模子在保持遵守的同期取得坚韧才略。

照顾团队在106个不同的测试数据集上考据了SAIL-VL2的才略，涵盖了从基础的图片深切到复杂的数学推理等各个方面。阻抑清楚，SAIL-VL2-2B在4B参数以下的开源模子中排名第一，何况在一些具有挑战性的推理任务上，以致大要超越那些范围更大的模子。这就像是一个小而精的工匠作坊，诚然范围不大，但居品性量却能超越大型工场。

一、数据便是养料：悉心烹制的"养分大餐"

要深切SAIL-VL2为什么如斯出色，咱们起程点要望望它"吃"的是什么。要是把AI模子比作一个正在成长的孩子，那么数据便是它的食品。大多量AI模子选用的是"大锅饭"战略——什么都吃，吃得越多越好。但SAIL-VL2的照顾团队更像是悉心调配养分餐的专科养分师，他们深知"病由口入"的意料，决定为模子悉心挑选和制作"食品"。

照顾团队起程点升级了他们的图片描述数据集SAIL-Caption，就像是再行整理家里的食谱书一样。他们开辟了一套自动评分系统，成心用来判断图片描述的质地。这个系统就像是一个抉剔的好意思食评委，会从两个角度来评判每一段描述：第一是"视觉信息丰富度"，看描述是否包含实足多的视觉细节；第二是"图文匹配度"，看描述是否准确反应了图片内容。

深嗜的是，照顾团队发现原始数据中有15%到20%的描述质地不达标，就像是发现了一批变质的食材。要是径直用这些数据教师模子，就好比用变质食材作念菜，不仅肆虐时期元气心灵，还可能"拉坏肚子"。因此，他们教师了两个成心的"质检员"模子，一个确认打分，一个确认作念"及格/分歧格"的判断。这两个模子的准确率都高出了90%，终点于请了两个申饬丰富的大厨来把关食材质地。

除了计帐现存数据，照顾团队还额外隆重图表数据的处理。当代社会中，咱们每天都会战争到各式图表——从天气预告的温度弧线到股票走势图，从公司年度陈诉的柱状图到应答媒体的数据可视化。但传统的AI模子在深切这些图表方面时常力不从心，就像是一个从来没见过曲谱的东说念主试图指挥交响乐团一样坎坷。

为了处理这个问题，照顾团队联想了一套图表数据生成活水线。这个系统就像是一个智能的图表制作工场，大要自动生成各式类型的图表，包括柱状图、折线图、饼图、散点图等等。更遑急的是，系统不仅生成图表，还会为每个图表配上详备的翰墨描述和问答对话，就像是为每说念菜配上详备的制作评释和养分要素表。

在视频数据方面，照顾团队相似选用了镌脾琢肾的派头。他们从高出600万个视频问答样本中精挑细选，最终保留了510万个高质地样本用于教师。这个筛选经由就像是电影制片东说念主从海量素材中编著出精彩片断一样，需要既有专科目光，又有严格程序。

他们的筛选程序主要珍贵两个方面：起程点是"帧-指示对王人"，确保视频中的枢纽帧与问题描述高度匹配；其次是"数据质地和任务难度"，既要保证数据的准确性，又要确保问题具有相宜的挑战性。这就像是为学生准备教师题目，既弗成太简便让东说念主以为败兴，也弗成太难让东说念主令人作呕。

为了进一步耕种数据的各种性和丰富度，照顾团队还开辟了一套"Caption2QA"革新系统。这个系统大要将图片描述自动革新成问答步地，就像是一个玄妙的"翻译官"，大要将并吞个故事用不同的样貌再行请问。通过这种样貌，他们将原有的描述数据彭胀成了愈加丰富的问答数据，为模子提供了更各种化的学习材料。

二、渐进式教师：从爬行到奔走的成长之路

要是说悉心准备的数据是SAIL-VL2的"养分餐"，那么渐进式教师战略便是它的"成长策画"。照顾团队莫得选用传统的"一股脑灌注"样貌，而是像培养一个天才儿童一样，联想了一套按序渐进的学习旅途。

这个经由分为三个主要阶段，就像是一个东说念主从学步到跑步的成长历程。在第一阶段"热身适当"中，模子就像一个刚刚学会步碾儿的孩子，需要先掌捏最基本的手段。在这个阶段，照顾团队只让模子学习最简便的任务，比如看图语言和翰墨识别，就像是先教孩子意志苹果、香蕉这些简便的物体。

第二阶段"细巧对王人"则更像是小学阶段的学习，模子开动战争更复杂的内容。在这个阶段，照顾团队不仅增多了数据的范围和各种性，还引入了视频数据，让模子学会深切动态画面。这就像是教孩子不仅要意志静态的图片，还要深切电影和动画片中的情节发展。

第三阶段"寰宇学问注入"是最枢纽的阶段，模子在这里接收"高级教导"。照顾团队在这个阶段解锁了模子的总共参数，让它战争各式各种的任务，包括图片描述、翰墨识别、怒放式问答、数学推理等等。这个经由就像是让一个大学生同期学习文科、理科、艺术等各个领域的学问，培养全面的才略。

教师经由中，照顾团队还选用了一种叫作念"AdaLRS"的自适当学习率搜索战略。这个战略就像是一个智能的教导，大要凭据学生的学习现象自动调治教育节律。当发现学生学得很快时，就相宜加速进程；当发现学生有些远程时，就减速节律，让学生有更多时期消化深切。

这种自适当战略的责任旨趣很深嗜：系统会陆续监控模子的学习效果，就像是老师不雅察学生的色调来判断是否深切了课程内容。当系统发现刻下的学习速率可能不是最优时，它会尝试调治，要是调治后效果更好，就保持新的竖立；要是效果变差，就回到之前的现象并尝试其他调治场合。

在视觉编码器SAIL-ViT的联想上，照顾团队相似体现了镌脾琢肾的理念。他们开辟了两个版块：一个是固定分裂率版块，就像是一台程序的相机，成心处理特定尺寸的图片；另一个是纵脱分裂率版块SAIL-ViT-AnyRes，就像是一台智能相机，大要自动适当不同尺寸和比例的图片。

纵脱分裂率版块的联想额外玄妙。传统的模子在处理不同尺寸图一刹，普通需要将图片强制缩放到固定尺寸，这就像是用并吞个模具制作不同步地的蛋糕，势必会蚀本一些细节。SAIL-ViT-AnyRes则选用了一种插值机制，大要凭据输入图片的实质尺寸动态调治处理样貌，就像是量文学衣一样为每张图片提供最合适的处理决策。

三、架构立异：小躯壳里的大灵敏

SAIL-VL2的架构联想体现了"小而精"的玄学。总共系统由三个中枢部分构成：视觉编码器SAIL-ViT、视觉-语言适配器和大语言模子。这三个组件的配合就像是一支理会的三东说念主组合，各自愿挥专长，共同完成复杂的任务。

视觉编码器SAIL-ViT就像是团队中的"眼睛"，确认不雅察和深切图片内容。它选用了Vision Transformer架构，这种架构的责任样貌很像东说念主类的视觉系统：先将图片分割成许多小块，然后分析每个小块的特征，终末将这些局部信息整合成对整张图片的深切。

视觉-语言适配器则饰演着"翻译官"的扮装，它是一个轻量级的两层神经鸠集，成心确认将视觉信息革新谚语言模子大要深切的步地。这就像是一个精明多种语言的翻译，大要将复杂的视觉信息准确地革新成翰墨描述。

在大语言模子的采纳上，照顾团队选用了天确实战略，既营救传统的密集型模子，也营救更先进的羼杂人人（MoE）架构。密集型模子就像是一个全才，每个参数都参与每次计较；而MoE架构则更像是一个人人团队，针对不同类型的问题激活不同的人人来处理。

MoE架构的联想额外玄妙。在处理每个输入时，系统会先通过一个"门控机制"来决定应该激活哪些人人。这就像是一个智能的分诊系统，大要凭据病东说念主的症状将其分派给最合适的专科大夫。通过这种样貌，MoE模子大要在保持较低计较本钱的同期，提供坚韧的处理才略。

为了确保MoE系统的褂讪运行，照顾团队还联想了一套均衡机制。这个机制就像是一个公正的责任分门户统，确保每个人人都能得到合理的责任量，幸免出现存些人人过度劳累而有些人人饱食镇日的情况。

在教师基础设施方面，照顾团队开辟了一套高效的流式打包战略。传统的教师步调就像是用固定尺寸的盒子装不同大小的物品，势必会形成空间肆虐。流式打包战略则更像是俄罗斯方块游戏，大要将不同长度的教师样本玄妙地组合在通盘，最大化诈欺计较资源。

这套系统还包括视觉打包功能，成心处理不同图片产生的视觉令牌数目各异。在SAIL-VL2-AnyRes这么营救纵脱分裂率的模子中，不同图片可能产生迥然相异数目的视觉令牌，就像是不同大小的拼图块。视觉打包功能大要智能地均衡这些各异，确保总共教师经由的遵守和褂讪性。

四、后教师优化：从优秀到终点的终末冲刺

模子的基础教师完成后，照顾团队并莫得闲适于已有的恶果，而是像镌脾琢肾的工匠一样，通过悉心联想的后教师经由将模子打磨得愈加齐备。这个经由包括基础监督微调、长链条想维教师、强化学习等多个阶段，每个阶段都有明确的计议和悉心联想的战略。

基础监督微调阶段就像是给一个依然掌捏基本手段的学生进行专项教师。照顾团队选用了渐进式学问注入战略，分为四个不同的教师阶段。第一阶段专注于基础指示奴隶才略的培养，让模子学会准确深切和实行各式指示。第二阶段使用高质地的视觉指示数据集SAIL-Instruction2进行教师，这个数据集包含了2000万个悉心挑选的样本，涵盖了各式复杂的视觉理罢免务。

第三阶段引入了更具挑战性的数据，包括来自LLaVA-CoT、MMPR和Condor数据集的长谜底和推理导向样本。这就像是给学生提供更高难度的习题，培养他们处理复杂问题的才略。第四阶段则选用了视频-图片羼杂教师战略，将高质地的图片数据与悉心筛选的视频数据以1:1的比例羼杂，确保模子在取得视频深切才略的同期不蚀本图片处理才略。

为了进一步耕种模子性能，照顾团队还选用了一种名为"模子汤"的战略。这种战略的旨趣很深嗜：当多个在相似条目下教师的模子（称为同质模子）进行合并时，时常大要产生比单个模子更好的效果。这就像是几个水平终点的厨师和解制作一说念菜，通过武艺的交融时常能创造出超越个东说念主才略的极品。

长链条想维教师是SAIL-VL2-Thinking版块的中枢特质。这个教师经由成心针对需要复杂推理的任务进行优化，就像是培养学生的逻辑想维才略。照顾团队起程点构建了一个大范围的长链条想维数据集，包含40万个样本，涵盖了各式需要多步推理的问题。

这些数据的制作经由很像是为学生准备详备的解题要道。照顾团队会先给出问题和程序谜底，然后要求模子生成详备的推理经由，将这个推理经由放在特殊的符号内，最终谜底则放在成心的谜底符号中。这种阵势化的处理样貌确保了模子大要学会既展示想考经由，又给出准确谜底。

在强化学习阶段，照顾团队联想了两种不同的奖励系统。第一种是可考据奖励系统，主要用于有程序谜底的任务，比如数学计较题。这种系统就像是一个严格的评分员，只珍贵谜底的对错。第二种是羼杂奖励系统，适用于更复杂的怒放性任务，它不仅洽商谜底的正确性，还评估推理经由的合感性和答谢阵势的范例性。

照顾团队在强化学习的杀青上也很有创意。关于密集型模子，他们使用了DAPO算法，这是一种内存高效的优化步调；关于MoE模子，他们使用了GSPO算法，成心针对羼杂人人架构进行了优化。这就像是为不同类型的率领员制定成心的教师策画，确保每种架构都能取得最妥当的优化战略。

想维交融教师是总共后教师经由的精髓所在。这个阶段的计议是让模子学会在需要时展示详备的推理经由，在不需要时给出简略的径直谜底。教师数据的构成很玄妙：90%是一般性的径直问答数据，10%是高质地的想维链示例。这种配比就像是在日常教师中穿插专项闇练，既保持了模子的通用才略，又强化了特定手段。

五、本质考据：炼炼

为了考据SAIL-VL2的实质才略，照顾团队进行了极其全面的测试，涵盖了106个不同的数据集。这种大范围的测试就像是让一个新发明的交通器用在各式路况下进行测试，从高速公路到山间小路，从好天到雨雪天气，确保在各式条目下都能褂讪发挥。

在通用多模态理罢免务上，SAIL-VL2展现出了终点的性能。在MMBench-v1.1这个凡俗使用的基准测试中，SAIL-VL2-2B取得了86.77分，在同等参数范围的模子中名列三甲。这就像是一个躯壳不高的篮球率领员在得分榜上超越了好多躯壳肥硕的敌手，讲解了技巧和遵守的遑急性。

在文档深切和OCR任务上，SAIL-VL2的发挥尤其亮眼。在OCRBench测试中，SAIL-VL2-2B取得了89.5分，SAIL-VL2-8B更是达到了91.3分，在同等范围的模子中位居第一。在DocVQA任务上，SAIL-VL2-2B达到93.1分，SAIL-VL2-8B更是高达95.28分。这些收获就像是在翰墨识别大赛中取得冠军，讲解了模子在处理翰墨和文档方面的坚韧才略。

额外值得一提的是SAIL-VL2在视觉定位任务上的发挥。SAIL-VL2-AnyRes-2B在RefCOCO平均测试中取得了57.82分，这个收获在4B参数以下的模子中是最佳的。这项才略就像是让模子具备了"高瞻高见"，大要在复杂的图片中准确找到指定的物体或区域。

在数学推理方面，SAIL-VL2-Thinking版块展现出了令东说念主印象深刻的才略。在MathVista测试中，SAIL-VL2-8B-Thinking取得了75.8分，SAIL-VL2-A3B-Thinking取得了73.0分。这些收获以致超越了一些参数范围更大的闭源模子，就像是让一个初中生在数学竞赛中打败了大学生选手。

在OpenCompass官方名次榜上，SAIL-VL2-2B在4B参数以下的开源模子中排名第一，这个收获就像是在奥运会上为国度赢得金牌一样令东说念主上涨。SAIL-VL2-8B-Thinking在多模态推理任务上的轮廓得分达到了54.4分，不仅在开源模子中最初，以致超越了一些著明的闭源模子。

视频深切才略测试也清楚了SAIL-VL2的全面性。在Video-MME测试中，SAIL-VL2-2B取得了57.1分，在长视频深切基准LongVideoBench上取得了54.45分。这些收获讲解了模子不仅大要深切静态图片，还大要处理动态的视频内容，深切时期序列中的变化和发展。

多图像深切测试进一步考据了模子的复合处理才略。在MMIU基准测试中，SAIL-VL2-2B取得了42.61分，清楚了模子在处理多张关联图一刹的推理才略。这就像是让模子同期阅读一册图文并茂的竹素，不仅要深切每张图片的内容，还要深切图片之间的磋议和举座的故事线。

为了考据SAIL-ViT视觉编码器的质地，照顾团队还进行了成心的图像分类测试。在ImageNet-1k等程序视觉任务上，SAIL-ViT-Large比基准模子AIMv2平均耕种了1.5%，SAIL-ViT-Huge的耕种更是达到了2.11%。这些蜕变看似微弱，但在AI领域，每一个百分点的耕种都代表着巨大的时间高出。

照顾团队还通过特征分析考据了SAIL-ViT在视觉-语言对王人方面的上风。他们计较了视觉特征和文本特征之间的散布距离，发现SAIL-ViT索求的视觉特征与文本特征的重复度较着高于基准模子。这就像是发现了一种更好的"翻译步调"，大要让视觉信息和翰墨信息更好地相互深切和疏导。

六、时间影响与将来预计

SAIL-VL2的成功不单是是一个时间成就，更代表了AI发展想路的遑急转机。在刻下"大便是好"的主流不雅念下，SAIL-VL2讲解了通过悉心联想的架构、教师战略和数据处理，较小的模子相似大要达到以致超越大模子的性能。这种理念就像是在汽车工业中，不是通过增大发动机排量，而是通过提高放胆遵守来取得更好的性能。

从实质应用的角度来看，SAIL-VL2的高效性具有遑急意旨。较小的模子意味着更低的计较本钱、更少的动力滥用和更快的推理速率。这使得高质地的多模态AI处事大要更凡俗地部署到各式成立和场景中，从手机App到角落计较成立，从个东说念主助手到企业应用。

在教导领域，SAIL-VL2的坚韧图文深切才略为智能教导系统提供了新的可能性。模子大要深切教科书中的图表、分析学生的手写功课、解答包含图片的复杂问题，这些才略为个性化教导和智能请示系统的发展奠定了基础。就像是为每个学生配备了一个博学的私东说念主教师，大要凭据学生的具体问题提供针对性的指导。

在买卖应用方面，SAIL-VL2的文档深切才略为自动化办公提供了坚韧器用。无论是处理条约文献、分析财务报表，照旧深切居品手册，模子都大要准确索求枢纽信息并答谢关联问题。这就像是雇佣了一个永不疲顿的文档分析人人，大要24小时不终结地处理各式文书责任。

关于内容创作领域，SAIL-VL2的多模态深切才略开辟了新的创作可能性。从视频内容的自动字幕生成到图片的智能标注，从告白创意的分析到应答媒体内容的料理，模子都大要提供有价值的援助。这种才略就像是为创作家配备了一个懂得多种艺术步地的助手，大要在创作经由中提供专科的提议和营救。

在科学照顾方面，SAIL-VL2处理图表和时间文档的才略为照顾责任提供了新的器用。无论是分析本质数据、深切复杂的科学图表，照旧从海量文献中索求枢纽信息，模子都大要提供高效的营救。这就像是为科研东说念主员配备了一个精明各式专科领域的照顾助手。

SAIL-VL2的开源本性也为AI时间的普及和发展作念出了遑急孝敬。通过公开模子代码和教师步调，照顾团队为群众的开辟者和照顾者提供了一个高质地的基础平台。这种怒放的派头就像是在学问的海洋中点亮了一座灯塔，为后续的照顾和应用指明了场合。

预计将来，SAIL-VL2的成功为多模态AI的发展提供了新的想路。照顾团队暗示，他们将赓续在几个方朝上推动：起程点是进一步耕种架构遵守，探索愈加小巧的模子联想；其次是完善预教师战略，开辟愈加高效的教师步调；终末是蜕变强化学习范式，让模子大要更好地从反馈中学习和蜕变。

跟着时间的不休发展，咱们不错期待看到更多像SAIL-VL2这么"小而精"的AI模子。这些模子将不仅具备坚韧的才略，还将具有更好的可部署性和更低的使用本钱，的确杀青AI时间的普及和民主化。这种发展趋势就像是从只消富东说念主材干领有的挥霍，逐步发展成为每个东说念主都能享受的日用品。

总的来说，SAIL-VL2代表了AI发展的一个遑急场合：不是简便地追求范围的扩大，而是通逾期间立异和细巧化联想来杀青性能的冲破。这种理念不仅在时间上具有启发意旨，在资源诈欺和环境保护方面也体现了负遭殃的发展派头。就像是在追求速率的同期不忘燃油遵守，在追求性能的同期不忘可陆续发展。

Q&A

Q1：SAIL-VL2比较其他AI模子有什么上风？

A：SAIL-VL2最大的上风是"小而精"——用更少的参数杀青了更强的性能。它的2B参数版块在多项测试中超越了参数范围更大的模子，就像让一个躯壳娇小的选手在体育比赛中打败了大块头敌手。这意味着使用本钱更低、运行速率更快，但才略不打扣头。

Q2：SAIL-VL2-Thinking版块有什么特殊之处？

A：SAIL-VL2-Thinking版块成心针对复杂推理任务进行了优化，它大要像东说念主类一样展示详备的想考经由。在处理数学问题或复杂推理时，它会先在里面进行一步步分析，然后给出最终谜底。这种才略让它在OpenCompass推理名次榜上取得了开源模子第又名的收获。

Q3：普通用户不错使用SAIL-VL2吗？

A：是的，SAIL-VL2是开源样子，开辟者和照顾者不错通过抖音团队提供的GitHub衔接（https://github.com/BytedanceDouyinContent）获取模子代码。关于普通用户来说，诚然弗成径直使用，但不错期待基于SAIL-VL2时间的各式应用居品冉冉面世，比如智能图片分析、文档处理、教导请示等器用。