手机就能跑！开源 AI 呆板人 MLC LLM 发布：无需联网

poney

快科技 5 月 2 日消息，克日，一个名为 MLC LLM 的项目在 GitHub 上线，该项目为一个可以或许在手机上运行的，无需联网的开源人工智能谈天呆板人。

据悉，MLC LLM 项目标本质是一种通用办理方案，它答应将任何语言模子当地摆设在一组差别的硬件后端和当地应用步伐上。
同时，它另有着一个高效的框架，供每个人进一步优化本身用例的模子性能。

上述这统统，都在当地运行，无需服务器支持，并通过手机或条记本电脑上的当地 GPU 加快。
技能上，MLC LLM 利用了 Vicuna-7B-V1.1，这是一种基于 Meta 开辟的 LLaMA 模子的轻量级 LLM，结果固然不如 GPT3.5 或 GPT4，但在巨细方面比力占上风。
现在，该项目可用于 Windows、Linux、macOS 和 iOS 平台，但临时还没有实用于 Android 的版本。
值得一提的是，MLC LLM 项目标开辟团队来自卡内基梅隆大学的 Catalyst 筹划、SAMPL 呆板学习研究小组以及华盛顿大学、上海交通大学和 OctoML 等。