EXOLabs最近发布了一段视频，展示了在一台26年历史的Windows98奔腾2PC上运行大模型（LLM）。这台主频350MHz电脑成功启动进入Windows98系统，随后EXO启动了基于AndrejKarpathy的Llama2.c定制的纯C推理引擎，并要求LLM生成关于“SleepyJoe”的故事，令人惊讶的是生成速度相当可观。
EXOLabs的这一壮举并非偶然，该组织自称为“民主化AI”而生，由牛津大学的研究人员和工程师组成，他们认为，少数大型企业控制AI对文化、真理和社会的其他基本方面是不利的。
因此，EXO希望建立开放的基础设施，训练前沿模型，并使任何人在任何地方都能运行它们，这项在Windows98上的AI演示，展示了即使在资源极其有限的情况下也能完成的事情。
EXOLabs在文章中详细描述了在Windows98上运行Llama的过程，他们购买一台旧的Windows98PC作为项目基础，但面临了许多挑战。
将数据传输到老设备上就是一个不小的挑战，他们不得不使用“老式的FTP”通过古老机器的以太网端口进行文件传输。
编译现代代码以适应Windows98可能是一个更大的挑战，EXO找到了AndrejKarpathy的llama2.c，可以总结为“700行纯C代码，可以运行Llama2架构模型的推理”，Karpathy曾是特斯拉的AI主管，也是OpenAI的创始团队成员。
利用这个资源和旧的BorlandC++5.02IDE和编译器（以及一些轻微的调整），代码可以被制作成Windows98兼容的可执行文件并运行，GitHub上有完成代码的链接。
使用260KLLM和Llama架构在Windows98上实现了“35.9tok/s”的速度，根据EXO的博客，升级到15MLLM后，生成速度略高于1tok/s，Llama3.21B的速度则慢得多，为0.0093tok/s。
相关文章
头条焦点
精彩导读
关注我们
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】