kaiyun网页登陆入口-开云kaiyun模子参数更多依赖算力和数据-kaiyun网页登陆入口

开云kaiyun模子参数更多依赖算力和数据-kaiyun网页登陆入口

发布日期:2025-09-18 05:18  点击次数:61

开云kaiyun模子参数更多依赖算力和数据-kaiyun网页登陆入口

作家 林易,剪辑 重心君

划重心:

1、HonestAGI团队发布一项名为“模子指纹”的磋商欲阐发华为盘古大模子抄袭阿里Qwen,但由于步调过于节略奸狡、团队和参考文件存在作秀嫌疑被质疑其真实性。

2、在华为诺亚方舟实验室官方作念出回报之后,一位自称里面职工东谈主士发表长文《盘古之殇》揭露华为盘古大模子涉嫌套壳、续训、洗水印,将抄袭风云再次推向热潮。

3、在时期快速迭代的期间,若何开拓愈加科学、透明的模子评估机制,如安在热烈竞争中保握时期诚信,如安在开源互助与营业利益间找到平衡,这些齐是行业必须直面的课题。

张开剩余91%

整整一个周末,围绕着“华为大模子抄袭”的话题握续连续地跃入大众的视线。

事件的主角是华为于6月30日适应开源的盘古大模子(Pangu Pro MoE),启事则是由HonestyAGI在GitHub中发布的一项磋商,通过论文式的推理阐发盘古大模子抄袭了阿里巴巴的通义千问Qwen-2.5 14B模子。

在这项磋商中,HonestAGI冷漠了通过分析模子隆重力参数的法式差形式来识别“模子指纹” (LLM-Fingerprint)的步调,并基于此对华为Pangu Pro MoE模子的来源进行了分析。

磋商中的要害发现,等于华为Pangu Pro MoE模子与Qwen-2.5 14B的法式差形式磋商性高达0.927,这就标明其可能基于Qwen-2.5“升级改进”而非重新试验。

除此除外,HonestAGI还发现盘古大模子官方在GitCode中发布的代码中,还极端地包含了Qwen 2024的许可证。其意在指出,盘古大模子团队所用到的“transformers”组件的版权包摄于Qwen团队、阿里巴巴集团和HuggingFace团队。

这项磋商仍是发布便激发了不少的争议,有东谈主以为它通过千般凭据已经算是实锤了盘古大模子抄袭Qwen;但另一方面,也有东谈主对“指纹”步调的专科性冷漠了质疑,更是在名想法Issues中产生了宝石之势。

那么这项磋商到底够不够靠谱,盘古大模子团队到底有莫得抄袭,重心君在整理统统部事件的有始有卒之后,单从时期角度分析以为,HonestAGI这篇磋商如实存在较多的可疑窦。当今,咱们就带人人一同深远了解。

具体指出了哪些凭据?

HonestyAGI冷漠的模子 “指纹” 是一种用于识别和永别模子的时期,旨在为模子提供稀零象征,以惩处模子学问产权保护、来源追忆和相通性分析等问题。不同的模子 “指纹” 步调在杀青样式和利用场景上各有各异。

团队针对大型语言模子,通过分析各层隆重力参数(Q、K、V、O投影矩阵)的法式差(σ)酿成 “指纹”。对每个Transformer层提真金不怕火磋商矩阵绸缪法式差,再跨层归一化生成特征签名,这种步调就不错用来识别模子谱系。其特征包括:

·鲁棒性:能在多数握续试验后保留。

·内在性:由模子架构天然产生。

·节略性:仅需对参数矩阵使用torch.std()绸缪。

QKV偏置分析落幕如下图所示:

从落幕来看,Pangu与Qwen2.5-14B的Q、K、V投影偏差形式险些疏通,早期层出现特征性峰值后经管,而这个想象是Qwen 1-2.5代专有的特质,多数开源模子(包括Qwen3)已弃用。

对隆重力层的归一化权重进行分析后,进一步印证了它们之间的相通性。盘古和Qwen2.5-14B在各层的发达趋势相当一致,呈现出访佛的运升沉样式和经管经过,这也让它们在举止上昭彰区别于像Qwen2-57B-A14B和Qwen3-30A3B这么的其他模子。

除此除外,团队正在磋商每一层的激活值大小。为此,HonestAGI从The Pile测试聚会随即抽取了1000个批次的样本(https://pile.eleuther.ai/),并绸缪了每层的激活范数,同期汲取了调处的归一化步调。每个批次包含8条序列,长度为1024。现时初步落幕已经公布,表现盘古模子和文心模子的发达依然相通,阐发它们在绸缪样式上有很大的相通之处。

为了考据“模子指纹”是不是存在或然性,HonestAGI还对Qwen和混元A13B进行了对比,落幕发现两者在不同层级的里面发达各异很大,阐发它们的架构和学到的学问示意统统不同。显著,HonestAGI提供这组对比数据,是为了阐发它的测试步调是委果的。

不外也正如重心君在此前提到的,许多东谈主对HonestAGI团队冷漠的“模子指纹”步调,在时期层面上冷漠了质疑。

有东谈主以为这个步调过于节略奸狡,存在cherry picking(选拔性挑选数据)的空间,且使用参数法式差来判定模子相通度并不科学。在深度学习领域,模子结构改进更进击,模子参数更多依赖算力和数据,华为有填塞算力再行试验大模子,没必要套用Qwen的参数。

而况“模子指纹”存在多处颓势,如仅公开少许模子对比样本,枯竭大规模基准测试;疏通参数目的 MoE 模子可能因架构不断产生相通弧线,弗成仅凭相通弧线判定抄袭;论文中枢假定枯竭巨擘文件撑握等。

除此除外,关于“模子指纹”磋商团队,网友们也冷漠了质疑。原论文作家除这篇著述外莫得其他科研落幕,联名的五个东谈主既莫得留邮箱,也无法在Google Scholar上找到任何信息,且作家自称是韩国粹生,却使用outlook邮箱,语言有收用英语滋味,怀疑作家身份是假的。

更进击的一丝是,援用的参考文件中尽然还存在多处空幻的参考文件,甚至于有东谈主以为全篇著述极有可能是用AI来生成。

关于此次抄袭风云,涉事的“主角”盘古Pro MoE背后的团队也在第一时刻站出来发出了声明作念回报。强调了他们是全球首个面向昇腾硬件平台想象的同规格搀杂众人模子,改进性地冷漠了分组搀杂众人模子(MoGE)架构;而况部分基础组件的代码杀青参考了业界开源践诺,涉偏激他开源大模子的部分开源代码,是严格辞退开源许可证的条目。

而且如果对比着来看两篇时期阐发,天然他们均汲取MoE架构优化绸缪效能,相接大规模预试验与多阶段微调擢升技艺,且温雅长高下文和多任务泛化;但Pangu Pro MoE所以“硬件-架构协同想象”为中枢,而Qwen2则所以“模子通用性与多语言技艺”为中枢;前者聚焦负载平衡与Ascend硬件适配,后者侧重众人想象与模子规模彭胀。

追忆来看,重心君以为HonestAGI团队开首在算法上仅将QKVO参数法式差组合在沿路向量特征来绸缪大模子之间的相通,步调过于节略了些,在严谨性和科学性上确有偏颇;其次,从开源法式方面来看,华为也公开回报了其是顺从开源法式来施行,这无可厚非。

现时HonestAGI团队也下架了开首的磋商(宣称再完善后发布),仅根据这项磋商不祥并弗成实锤华为盘古大模子抄袭了阿里Qwen,但此次的风云却并莫得因此而落幕。

一篇《盘古之殇》再引热议

就在昨天,一篇名为《盘古之殇:华为诺亚盘古大模子研发历程的心酸与黑暗》的著述在GitHub上走红,仅一天时刻便揽获2.5K Star(还在握续增长中)。

仅从标题就不丢丑出这是一篇华为里面职工的匿名举报信,曝光了盘古大模子背后的“作秀”内幕。事情的启事恰是华为盘古大模子被曝抄袭阿里Qwen,这让一位自称盘古团队成员的职工再也忍不住了。他决定站出来爆料里面的真实情况,哪怕可能因此丢掉职责。

按照这位职工的说法,华为里面如实存在大规模的“套壳”举止。所谓套壳,就是拿别东谈主家的模子,略微改改包装,然后说成是我方研发的。比如他们的135B模子,其实就是拿阿里千问110B改的,连代码里的名字齐懒得改,还叫"Qwen"。最近争议很大的72B模子,亦然用千问的模子试验出来的。

据这位职工形色说,更让东谈主悲怆的是职责环境,他们这些果然作念时期的东谈主相当沉重,日常要去苏州出差,一去就是几个月,和家东谈主分离,职责强度遍及。但辛沉重苦作念出来的落幕,却日常被其他部门应付拿走,然后贴上别东谈主的标签。果然干活的东谈主累死累活,抢功劳的东谈主轻应付松,这种不公让好多优秀的时期东谈主员选拔了下野。

天然,这位职工也承认,华为如实作念出了一些果然的时期落幕,比如在自家芯片上试验出了一些从零入手的模子。但这些真实的悉力每每被作秀举止遮盖了,让谨慎作念事的工程师感到心寒。他说我方也准备下野了,再也不思在这么的环境里职责,他也但愿通过爆料能让华为阻塞到问题。

比拟于HonestAGI的“模子指纹”,这一次网友们的评价并莫得出现一边倒的情况。一部分网友以为著述中的一些时期细节形色较为具体,有一定的委果度;但也有效户指出著述可能存在面貌化、单方面性等问题,部分不雅点枯竭填塞的凭据支握,如“里面分析”等表述过于迂缓。

限制发稿,华为诺亚方舟实验室官方并莫得对这篇著述作念出正面回报。但这场围绕华为盘古大模子的争议,早已卓越了单一事件的范围,折射出AI行业在爆发式发展中的深层矛盾。

从时期层面看,“模子指纹”步调的争议中枢在于:当大模子的参数规模打破千亿级,架构改进与参数迭代的范围愈发迂缓,若何用科学法式界定“原创”与“模仿”?在算力与数据壁垒高筑确当下,爽气的“从零入手”研发是否已成为小概率事件?在AI企业普遍面对“模子迭代速率竞赛”的配景下,若何平衡营业方针与时期诚信,亦然在纯属着每个团队的价值选拔。

结语

华为盘古大模子抄袭争议,本色上响应了AI行业发展中的三重逆境:时期评判法式的缺失、营业竞争的热烈化,以及行业诚信体系的待开拓。

不论最终真相若何,这场争议齐为统统AI行业敲响了警钟。在时期快速迭代的期间,若何开拓愈加科学、透明的模子评估机制,如安在热烈竞争中保握时期诚信,如安在开源互助与营业利益间找到平衡,这些齐是行业必须直面的课题。

更进击的是,这起事件辅导咱们:果然的时期改进不应该开拓在迂缓的范围线上,而应该以塌实的研发实力和清亮的时期旅途为基础。独一这么,中国AI行业才能在全球竞争中取得果然的尊重和话语权。

参考勾通:

1、HonestyAGI GitHub:https://github.com/HonestyAGI/LLM-Fingerprint

2、《盘古之殇》原文:https://github.com/HW-whistleblower/True-Story-of-Pangu

3、知乎磋商究诘:https://www.zhihu.com/question/1925157415541801408

4、盘古Pro MoE时期阐发:https://arxiv.org/abs/2505.21411开云kaiyun

发布于:北京市

相关资讯
热点资讯
  • 友情链接:

Powered by kaiyun网页登陆入口 @2013-2022 RSS地图 HTML地图

Powered by365站群