在 Raspberry Pi 上运行语音识别和 LLaMA-2 GPT Whisper ASR 和 LLaMA-2 GPT 模型的完全离线使用_硬件工程

如今，没有人会对在云中运行深度学习模型感到惊讶。但在边缘或消费设备领域，情况可能要复杂得多。这有几个原因。首先，云api的使用要求设备始终在线。对于网络服务来说这不是问题，但对于需要在没有互联网接入的情况下运行的设备来说可能会成为一个问题。其次，云 api 需要花钱，客户可能不愿意再支付订阅费。最后但并非最不重要的一点是，几年后，该项目可能会完成，api 端点将被关闭，昂贵的硬件将变成一块砖头。这对于客户、生态系统和环境自然是不友好的。这就是为什么我坚信最终用户硬件应该能够完全离线运行，无需额外成本或使用在线 api（嗯，它可以是可选的，但不是强制性的）。

在本文中，我将展示如何在 raspberry pi 上运行 llama gpt 模型和自动语音识别 (asr)。这将使我们能够向 raspberry pi 提出问题并获得答案。正如所承诺的，所有这一切都将完全离线进行。

让我们开始吧！

本文中提供的代码旨在在 raspberry pi 上运行。但大多数方法（“显示”部分除外）也适用于 windows、osx 或 linux 笔记本电脑。因此，那些没有 raspberry pi 的读者可以轻松测试代码，没有任何问题。