快科技12月30日音问,据媒体报谈色吧5,EXO Labs最近发布了一段视频,展示了在一台26年历史的Windows 98奔腾2 PC上驱动大模子(LLM)。
小77论坛文学欣赏这台主频350MHz电脑成效启动干涉Windows 98系统,随后EXO启动了基于Andrej Karpathy的Llama2.c定制的纯C推理引擎,并条目LLM生成对于“Sleepy Joe”的故事,令东谈主惊诧的是生成速率高出可不雅。
EXO Labs的这一豪举并非随机,该组织自称为“民主化AI”而生,由牛津大学的商讨东谈主员和工程师构成色吧5,他们以为,少数大型企业截至AI对文化、真义和社会的其他基本方面是不利的。
因此,EXO但愿开拓绽放的基础步伐,测验前沿模子,并使任何东谈主在职何场合王人能驱动它们,这项在Windows 98上的AI演示,展示了即使在资源极其有限的情况下也能完成的事情。
EXO Labs在著作中留意描写了在Windows 98上驱动Llama的经由,他们购买一台旧的Windows 98 PC四肢技俩基础,但面最后好多挑战。
将数据传输到老设备上便是一个不小的挑战,他们不得不使用“旧式的FTP”通过陈腐机器的以太网端口进行文献传输。
编译当代代码以符合Windows 98可能是一个更大的挑战,EXO找到了Andrej Karpathy的llama2.c,不错转头为“700行纯C代码,不错驱动Llama 2架构模子的推理”,Karpathy曾是特斯拉的AI主宰,亦然OpenAI的首创团队成员。
应用这个资源和旧的Borland C++ 5.02 IDE和编译器(以及一些渺小的调度),代码不错被制作成Windows 98兼容的可试验文献并驱动,GitHub上有完成代码的畅通。
使用260K LLM和Llama架构在Windows 98上结束了“35.9 tok/s”的速率,阐发EXO的博客,升级到15M LLM后,生成速率略高于1 tok/s,Llama 3.2 1B的速率则慢得多,为0.0093 tok/s。