关于我最近在干什么
我在试着做类似 AIRI 或者 NoriOS 的东西。
- 因为我也说不上要干什么,所以我只能用
东西指代
然后考虑到我目前的能力:
只能停留在提示词工程和外围代码
没有外部的算力,只要大点的模型就跑不起来
所以目前的方案就是 deepseek + 外围代码 的方案。
然后就是各种各样的探索
关于TTS
我试过 MOSS-TTS-NANO, kokoclone, tinyscribe, franken_tts
最后准备用 MOSS-TTS-NANO 质量还算可以,尽管我本地也跑不动实时的语音生成
已经是在捡能用的用了
看了api服务,发现对我都特别贵(当然,也只是对我)
STT
试过whisper, vosk, funasr
目前看 funasr 能跑动,但错误率太高。
电脑貌似 kubuntu 不认麦克风,用的 AudioRelay 从手机连的。
也试过 whisper ,准备加个声音检测,尽管不是实时的,凑合用吧,起码正确率能高点。
翻别人的开发日志见到了 whisper.cpp 之前都是 faster_whisper 准备哪天有空试试。
多模态
之前打算是 subagent + channel 的,但既然deepseek有多模态了准备直接用。
不过还早。
目前的进度
写完了 core, context.as, prompt.i,但距离可用还差很远
将来是准备上live2d啥的,但一窍不通,也不知道从何入手。
目前的想法就是先要能聊天,然后试着接入点电脑上的东西。
然后,将来
研究一大堆开发日志
偶然间重新翻AIRI的时候看到网站上有开发日志,我觉得里面可能有很多东西,准备逐篇去读。
网站重构... 就移动了点文件夹,试着重新整理下结构,尽管最近重构应该是没空了。 bug也没空修,也没空优化啥的。
将来可能还得研究自然语言处理之类的,memory.i要用,起码不能简单上grep,还得考虑速度和计算量。
因为我这博客目前还没做图像上传啥的,就不放图了。
读技术文档,一堆东西
感觉要无限进行下去...
To infinity...
si ta la pi tu sa to du mo fi fi(应该没人看懂吧)
网站也慢的一塌糊涂,一个操作就得等几秒...