OpenGlass AI眼镜的环境配置与实现

ojeffreyo

OpenGlass AI眼镜的环境配置与实现

本文面相零基础的同学们，将以通俗易懂的叙述和尽量详细的操作步骤，带大家熟悉并实现该项目。
文档将从Windows操作系统下的Linux子系统配置，到最终实现OpenGlass为止。

OpenGlass项目的GitHub地址
OpenGlass项目的Gitee地址
OpenGlass的摄像头模块各个组件在未组装的情况下，状态如图所示。眼镜这里不是必需件，这里就不做展示。

组装好的OpenGlass摄像头模块，状态如图所示。这里为了使用上的便捷，加入了一个红色的船型开关，方便启动或关闭OpenGlass的摄像头模块。

1. 硬件材料清单

Seeed Studio XIAO ESP32 S3 Sense
502030-250 3.7v 250mAH battery
3D打印的OpenGlass盒体点击后即可下载盒体的STL文件
Note : 这里的3D打印盒体是OpenGlass开源出来的设计。由于它的盒体设计有一点问题，上面的图片中使用的3D打印件是我们重新设计并制作的硬件固定盒体。

2. Windows环境下Linux子系统的安装

点击Windows开始菜单栏，找到设置，并搜索 开发者设置，可以找到开发者选项。将开发者选项开启。

同样在Windows系统的开始菜单栏中点击设置并搜索 启用或关闭Windows功能 ，勾选对应选项，并点击确定。

Note : 在打开上述设置后系统将会提示你重启电脑，点击确定重启，重启适用于子系统的环境将会生效。如果在 启用或关闭Windows功能 的勾选栏中存在Hyper-V的勾选项，这里建议也将它勾选上。如果没有这个勾选栏，忽略这一步操作。

从开始菜单栏中找到 Microsoft Store, 搜索 Powershell, 并安装 Powershell 插件

从开始菜单栏中找到 Microsoft Store, 搜索 Ubuntu, 并安装 Ubuntu子系统 ，这里需要安装 22.04.3 LTS 版本号的 Ubuntu 系统。

完成 Ubuntu 22.04.3 LTS 的安装后可以直接通过下图位置首次打开子系统，这样会直接进入Unix新用户的注册界面。

在终端中输入一个用户名，以及对应的用户名密码。用户名对应密码的输入将不会显示任何符号，但你的输入将仍然有效。完成用户创建后，按下回车将正常进入Ubuntu子系统。状态如下图所示。Linux子系统将默认占用系统盘空间，如需要将子系统移动至别的硬件空间进行使用，请自行搜索如何将WSL移动到系统盘外的操作。此时若启动Ubuntu子系统出错，请检查WSL的版本是否最新的是WSL2，对WSL进行升级操作即可。

3. 安装Git版本管理工具

由于Windows下安装的各种软件，是将Linux的运行环境迁移到Windows系统中，所以软件的安装较为繁杂且环境配置过程常容易出现问题，使用上需要更加仔细。首先通过在PowerShell界面中输入 WSL 来进入子系统，在子系统下可以直接通过安装命令来安装 Git 工具。安装好 Git 版本管理工具后，可通过指令查看安装情况。若安装正常，可看到对应的软件版本号。

   sudo apt-get install git
   git --version

子系统下安装的 Git 工具只能在进入子系统的情况下才能够使用，Windows下如果想要使用 Git 工具需要另外安装。
Windows下安装 Git 版本管理工具的过程不再做叙述，请自行搜索。

!!!点击这里!!! 进入Git版本管理工具官网，自行下载适合你系统的安装包并安装。
若 Git 工具正常在Windows下正常安装，应当可以在鼠标右击桌面空白处看到 Git bash 关联启动项。

4. OpenGlass Web服务端的环境配置

以下操作在WSL下完成，!!!点击这里!!! 可以参考 OpenGlass 原代码仓库的操作。

安装 curl ，并检查curl安装是否成功。

   sudo apt-get install curl
   curl --version

安装 nvm 管理工具，同样检查其是否安装成功。如果 nvm 安装不成功，!!!点击这里!!! 查看详细教程，确定环境变量是否生效。
```
   curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.1/install.sh | bash
   source ~/.bashrc
   nvm -v
```

如果上面的 curl 安装 nvm 工具时一直出现下列错误，需要对 IP 地址的解析做一些修改。!!!点击这里!!! 查看详细教程。

   % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current  Dload  Upload   Total Spent    
   Left  Speed  
   0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0
   curl: (7) Failed to connect to raw.githubusercontent.com port 443 after 0 ms: Connection refused

使用 nvm 管理工具，安装 OpenGlass 所需要的 npm 组件。首先查看可安装的组件版本，然后使用安装命令安装。检查相关组件的安装，若安装成功可以看到对应的组件版本号。
```
   nvm ls-remote
   nvm install v22.4.0 --verbose
   nvm install node --verbose
```
```
   $ npm -v
   10.8.1 
```
```
   $ node -v
   v22.4.0
```

完成上述组件安装后将 OpenGlass 代码仓库使用 Git 工具拉取到你认为合适的文件夹位置。在看到的仓库拉取成功的信息后，进入代码仓库的文件夹进行下一步。
```
   git clone https://github.com/BasedHardware/OpenGlass.git
```
```
   cd /your_path/OpenGlass/
   npm install --verbose
```
如果在上面的安装过程中遇到 npm 安装命令超时的情况，请 !!!点击这里!!! 查看详细 npm 换源操作。这里推荐使用华为管理的 npm 源。完成换源操作后，重新再执行上面的安装指令，完成 OpenGlass 代码仓库的安装。

在完成上述操作后，应能够正常启动 OpenGlass 的网页服务端。输入下面的指令运行 OpenGlass。
```
   npm start
```
按照该网页服务端的提示，按下 W 可直接启动网页。启动后的效果如图所示。

若仍然存在错误信息，可能是缺少 expo 组件支持，!!!点击这里!!! 查看详细的安装 expo 组件操作。

5. Ollama AI运行容器的环境配置

大家在使用前请保证自己的电脑拥有至少8G及以上的内存空间，若在前面的步骤中子系统是默认安装在C盘中，这里的操作将会消耗一定量的C盘空间。如果有更换子系统依附盘的需求，请 !!!点击这里!!! 查看如何移动子系统。

同样使用 Git 版本管理插件，从码云将 ollama AI运行的容器克隆到本地合适的文件位置。代码仓库克隆完成后，进入到对应的文件夹路径下。
```
   git clone https://gitee.com/mirrors/ollama.git
```

安装 ollama 容器。!!!点击这里!!! 也可参考 ollama GitHub仓库中的文档进行安装操作。这一步安装 ollama 的过程时间较长，请耐心等待。
```
   curl -fsSL https://ollama.com/install.sh | sh
```

在 ollama 容器中下载OpenGlass 项目作者推荐的 moondream:1.8b-v2-fp16 AI模型。该模型仅支持单模即图片输入后的token生成，不支持普通的文字输入。若输入文字内容，该模型将不会做出任何反应。
```
   ollama pull moondream:1.8b-v2-fp16
```

ollama 容器安装完成后会自动在后台状态下运行。如果需要准确看到 ollama serve 相关的提示信息，可以先切换到 root 权限下关闭 ollama 的后台服务，然后重新启动该服务即可。
```
   su root
   systemctl stop ollama
```
重新切换到你的用户权限下。
```
   su your_user_name
   ollama serve
```
此时可以新建一个新的子系统终端界面，并在这个新的终端中运行 ollama 管理的AI模型。按照 OpenGlass 项目的要求，拉取对应的可在本地运行的 moondream 图片处理AI模型。
```
   ollama pull moondream:1.8b-v2-fp16
```

在 ollama 完成了模型拉取以后，现在即可以尝试运行对应模型，并测试AI是否会对图片做出描述了。这里对具体模型的使用不再赘述，可以 !!!点击这里!!! 查看在线的具体使用，或直接阅读拉取的 ollama 代码仓库中的 README.md 文件来了解使用方法。（在线文档和仓库内文档是一样的内容）
```
   ollama run moondream:1.8b-v2-fp16
```
6. 使用Arduino开发环境下载固件
首先下载 Arduino IDE 开发环境并安装。这里推荐使用 1.8.19 版本的 Arduino IDE ，虽然版本较老但因为是最后一版开源的 Arduino IDE，可以搜索到的解决问题的素材也会相对较多一些。!!!点击这里!!! 下载 Arduino IDE 的安装包，并按照提示正确安装。

完成安装后正常打开 Arduino IDE, 在左上角点击 文件 ---> 首选项，可以看到当前页面。这里可以将显示详细输出的两个方框处勾选上，点击下方箭头所指的 附加开发板管理网址 后面的控件，将下面的两个网址粘贴进去，保证一个网址只占一行。完成后，点击 好，完成设置。

   https://raw.githubusercontent.com/espressif/arduino-esp32/gh-pages/package_esp32_index.json

   https://espressif.github.io/arduino-esp32/package_esp32_index.json

完成上述步骤后，关闭 Arduino IDE, 重启软件。

软件重启完成以后，选择 工具--->开发板--->开发板管理器 ，在搜索栏中搜索 esp32，安装对应的板支持包。这里要尤其注意需要安装 2.0.17 版本或更老的板级支持包，版本号3.0.0 及以后的板级支持包虽然新，但是会在编译代码的过程中报错。请选择正确版本安装。

打开 Arduino IDE 开发环境，选择 文件--->打开...，找到之前下载的 OpenGlass 代码仓库下的 firmware 文件夹，打开 firmware.ino 文件。此时应可以看到有对应的程序显示在 IDE 环境里。

在 Arduino IDE 中选择 工具--->开发板，此时可以看到多出了更多的板类型选项。按照图中的操作，选择 XIAO_ESP32S3 开发板。再重新选择 工具，此时应多出更多的配置选项。同时将 XIAO 开发板插到电脑的USB口上。

然后在 工具 选项栏中参考图中的配置，将两个配置项修改完毕。并把串口号选择好（你所用的串口号和图中的串口号应该是不一样的，如果不一样请在Windows下的设备管理器选项中查看对应的开发板串口号）

选择完毕，点击 Arduino IDE 左上方的箭头标志，OpenGlass 的固件将自动编译并下载进入开发板中。

7. 使用 OpenGlass 以及 Debug

在保证你的电脑有蓝牙并打开的情况下，启动 OpenGlass 的 Web 服务端。进入 OpenGlass 的代码仓库，按照前文中已经完成配置的基础上，输入启动命令。
```
   npm start
```
在启动完毕后，按下 w 启动网页端。此时浏览器会跳出对应界面。点击连接，并选择 OpenGlass 完成配对，此后开发板将向网页端以4-5秒一张图片的速度拍照并上传，可以在网页上看到拍摄图片的情况。到这里就基本完成了 OpenGlass的本地运行，以及 AI 容器运行的配置。

ojeffreyo

帖子将持续更新，上传新的进展与一些 debug 的内容。

wxyu

[未知用户] 催更催更强哥快更后续吧呜呜呜