日排行周排行月排行日推荐周推荐月推荐

第630章 卡脖子(第1页)

穿过北疆科大的校门,越过两栋教学楼,实验室里,李泽和姜伊伊安安静静地坐在门口的位置。

虽然是周末,但吴晓忠的实验室却没有休息。

“老师,这次我只微调了15o个参数,可这任务卡在99%已经两天了,咱们实验室的算力什么时候能增加一些?”

吴晓忠的学生王楠在一旁抱怨道。

他也不想周末泡在实验室,可手里的任务一直在延迟,倒不是他代码写的慢,而是实验室的算力实在是不够用。

吴晓忠主攻的就是aI大模型,之前接受李泽的投资,大模型研有了长足的进展。

甚至已经有了很多成果落地。

可在继续迭代的过程又遇到了问题,数据工程、架构创新等基础都已经做到极致。

可问题就出现在调参训练上,实验室的硬件有限,每次跑任务都要等上几天。

写代码只要一小时,可等任务却过了3天。

吴晓忠的大模型在这样的效率下,不仅没有掉出第一梯队,还能跟上世界先进水平,已经很不容易了。

要知道,现在的大模型动不动就上亿级别的参数,每次只优化几百个,这效率可想而知。

“困难总是有的,想办法克服就是了,等熬过这一段时间,一切都会好的。”

吴晓忠出言安慰道。

他也不是没做出改变,模型架构已经优化到极致,kv缓存压缩至十分之一,长上下文显存占用降低9o%。

分布式、无辅助损失负载均衡、双向流水线,能想到的都想到了,可问题是底层的硬件底座不够给力。

用的显卡是几年前的旧款,数量和质量都不尽如意,也不是他不想更新。

实在是丑国封杀得严,高端显卡禁运,吴晓忠想买也买不到。

想订购国内最新款自研显卡,可是产能又不够,那些大公司都吃不饱,他一个小实验室想抢到训练用的显卡太难了。

无奈,只能用时间来换,争取每次调参的代码准确性高一些,避免出现返工的问题。

又查看了几个学生的任务,吴晓忠慢慢走到李泽的身前。

这是他第二次见李泽,上次还是在海浪汽车的厂里,测试自动驾驶模型的时候。

他对李泽的印象很深,是个聪明孩子,而且还是李尚海的儿子,大家都亲切地称呼李泽为小李总。

“小李总,今天怎么有空来这里玩,是不是想提前感受一下大学的氛围?”

“吴教授,我这次来是有点事想请教你的。”

“哦?”

吴晓忠饶有兴趣地盯着李泽,一个小学生有问题请教他一个大学教授,多少令人有点好奇。

“说说看,有什么是要请教的?”

吴晓忠随便拉了把椅子,坐在李泽的对面。

“是这样的,我想问问有哪些高科技是丑国有的,我们又急需的。”李泽乖巧地问道。

吴晓忠低头笑了一下“现在两国之间的科技差距其实不大,很多方面我们已经追平了,可在一些领域我们还是被人卡着脖子。”

他回头看了一眼实验室里正焦急等待任务结果的学生,随后无奈说道

“就比如说算力,我们国家芯片起步晚,技术落后,在高端显卡领域一直被丑国卡脖子,现在大模型动不动就几亿个参数,对算力的要求非常高,这就使得我们国家的高端显卡非常紧缺。”

书友推荐:女配在体院挨操的N种姿势NP无敌六皇子神婿叶凡混沌剑神只在梨花春雨处(np)城里的香艳逢春 糙汉 妓妻蛊真人之邪淫魔尊被哥哥舔逼后上瘾了(兄妹h)被哥哥管教的日子青云之驭娇红人缠金枝(古言1v1,先婚后爱)大奶牛馨馨的悲惨命运风华神女录女配解锁各种(快穿)和大叔奔现后我的绝品老师下雨天女配在体院挨操的N种姿势
书友收藏:论直男穿越到ABO世界有多惨豪乳教师刘艳同人影视剧H改编——《小欢喜》蛊真人之邪淫魔尊猎艳江湖之征战天下我的教师妈妈和校花女友变成了我的性奴警门赘婿乡村多娇需尽欢母欲的衍生十景缎夺人母爱婚色糙汉,我的绝品老师全民转职:修仙者废?看我一剑开仙门!有瑕父女,高在言情文里撩直男男主剧情扭曲之后财阀的母狗们她是儿媳公媳高诸天尽头(加料版)