AI助手Moemate：让大模型“阅读”你电脑屏幕上的内容

与其他聊天机器人相比，Moemate的特点在于它可以直接查看屏幕上发生的事情。然而，给这样的软件访问你所看到和做的一切的权限，即使在最好的情况下，也存在相当大的风险。vM0品论天涯网

Moemate提供了强大的自定义功能，用户可以自定义化身的动画、合成语音和回答。此外，用户还可以构建自定义角色模型并导入，以及导出可供其他Moemate用户导入和使用的化身格式。Moemate的“个性”由选择的文本生成模型驱动，而合成语音可以选择ElevenLabs、MicrosoftAzure或Moemate自己的文本到语音引擎。vM0品论天涯网

Moemate通过为每个化身提供一个简介来“根据地”所选的文本生成模型，并试图防止其偏离轨道。化身的简介可以从头开始编写和编辑。Moemate还提供了一些面向Twitch的功能，如将聊天窗口置于焦点和显示频道订阅者人数。vM0品论天涯网

Moemate的屏幕捕获功能可以让它看到并分析你的屏幕内容。无论选择哪个文本生成模型，Moemate都可以回答关于屏幕上处于焦点的窗口的问题。虽然系统并不完美，但用户可以使用Moemate总结食谱和网页，获取复杂主题的概要，甚至在游戏中提供建议。vM0品论天涯网

然而，Moemate的效果有时不尽人意。它无法准确预测自己将关注的内容，有时会引用背景窗口的内容，有时则完全无法看到窗口的内容。此外，Moemate有时会偏离主题，给出奇怪的回答。有些内置命令也有问题，如调节语音音量只能调节应用内音量而非整个系统音量。vM0品论天涯网

尽管存在问题，Moemate仍然有吸引力。多模态分析（结合文本、图像和其他媒体分析）显然具有强大的功能，尤其是在运行在PC上的助手的情况下。未来的助手可能会类似Moemate，结合屏幕理解和文本生成模型，从而提高工作效率。Moemate给我们展示了未来的一瞥，尽管还有很多问题，但仍然引人入胜。vM0品论天涯网