你的位置:强奸电影 > 黑丝 捆绑 >

色吧5 奔腾2 CPU+128MB内存成效驱动Llama大模子:速率还挺快

发布日期:2024-12-31 15:24    点击次数:166

色吧5 奔腾2 CPU+128MB内存成效驱动Llama大模子:速率还挺快

快科技12月30日音问,据媒体报谈色吧5,EXO Labs最近发布了一段视频,展示了在一台26年历史的Windows 98奔腾2 PC上驱动大模子(LLM)。

小77论坛文学欣赏

这台主频350MHz电脑成效启动干涉Windows 98系统,随后EXO启动了基于Andrej Karpathy的Llama2.c定制的纯C推理引擎,并条目LLM生成对于“Sleepy Joe”的故事,令东谈主惊诧的是生成速率高出可不雅。

奔腾2 CPU+128MB内存成效驱动Llama大模子:速率还挺快

EXO Labs的这一豪举并非随机,该组织自称为“民主化AI”而生,由牛津大学的商讨东谈主员和工程师构成色吧5,他们以为,少数大型企业截至AI对文化、真义和社会的其他基本方面是不利的。

因此,EXO但愿开拓绽放的基础步伐,测验前沿模子,并使任何东谈主在职何场合王人能驱动它们,这项在Windows 98上的AI演示,展示了即使在资源极其有限的情况下也能完成的事情。

EXO Labs在著作中留意描写了在Windows 98上驱动Llama的经由,他们购买一台旧的Windows 98 PC四肢技俩基础,但面最后好多挑战。

将数据传输到老设备上便是一个不小的挑战,他们不得不使用“旧式的FTP”通过陈腐机器的以太网端口进行文献传输。

编译当代代码以符合Windows 98可能是一个更大的挑战,EXO找到了Andrej Karpathy的llama2.c,不错转头为“700行纯C代码,不错驱动Llama 2架构模子的推理”,Karpathy曾是特斯拉的AI主宰,亦然OpenAI的首创团队成员。

应用这个资源和旧的Borland C++ 5.02 IDE和编译器(以及一些渺小的调度),代码不错被制作成Windows 98兼容的可试验文献并驱动,GitHub上有完成代码的畅通。

使用260K LLM和Llama架构在Windows 98上结束了“35.9 tok/s”的速率,阐发EXO的博客,升级到15M LLM后,生成速率略高于1 tok/s,Llama 3.2 1B的速率则慢得多,为0.0093 tok/s。

奔腾2 CPU+128MB内存成效驱动Llama大模子:速率还挺快





Powered by 强奸电影 @2013-2022 RSS地图 HTML地图

Copyright Powered by365站群 © 2013-2024