[RFC] 087 - 应用内置联网搜索功能

[arvinxx]

背景

接 #6277 RFC，本 RFC 拆解应用内置联网功能的实现。

目前在 LobeChat Cloud 上实现了一个基于 SearchXNG 的插件，基于该插件的整体搜索体验非常舒服：

因此在本 RFC 中会将该插件升级为应用层的内置能力

设计思路

首先在 server 层新增一个搜索 provider 的service 并定义好通用接口

然后针对 searchXNG 实现其中的 search 接口

前端层定义为一个tools，但关于 tool 的开启则用单独字段控制

实施

• ✨ feat: support application search with searchXNG #6452

配置环境变量：SEARXNG_URL=https://searxng-instance.com

Zeabur 上有 searchXNG 的一键启动模板：https://zeabur.com/templates/77FSH6

注意：默认提供的 zeabur 模板(https://zeabur.com/templates/77FSH6) 没有设置 json 输出
进去searxng容器修改/etc/searxng/settings.yml文件
找到

formats:
    - html

修改为

  formats:
    - html
    - json

最后重启容器

[SAnBlog]

SearchXNG是需要自建服务接入?

[arvinxx]

对。zeabur 上还有一键启动模板的

[TonyBlur]

或者也可以使用 https://searx.space/ 所提供的已有实例？

[arvinxx]

那些实例有个问题，不支持 json 配置，导致请求的时候会报 403 错误

[TonyBlur]

是的，我也刚发现，看来还是要自建服务

[ChenLuoi]

当前已经实现的搜索，应该是拿的搜索引擎结果前5条的title和content丢给AI去分析，但是很多情况下这个体验并不好。
比如我搜索“今日热点新闻”，最终总结出的结果不是热点新闻内容，而是各大新闻网站的简介。
如果拉取网页内容一并发送给AI可能结果会更好看些，但是代价就是响应时间大大延长，token用量也会增加。

[arvinxx]

很多情况下这个体验并不好

除了「今日热点新闻」这个case，能否给出一些更加 solid 的日用 case 用于我们后续测试调优？其实现在的模式我估计已经能解决60%~70% 的搜索需求了

[sijinhui]

比如类似这个插件的实现，程序中好像是有抓取返回的网页相关代码的，应该适配接入一下会好很多。
@arvinxx

[ChenLuoi]

1. 英超积分榜前10位
   content中只会有前三名的积分数据，如果问10个的话，后面会编造排名和积分数。

2. lobechat最近10个release版本
   相关性最高的github release的content更新不及时，还是1.62；如果用网页爬虫插件拉取页面内容后，ai是能给出版本清单的。

[MCQSJ]

1.该插件概率搜索失败，原因为发现调用时候似乎指定了搜索引擎导致的失败【 "arguments": "{"query": "小米15", "searchEngines": ["google", "bilibili", "bing", "duckduckgo", "z-library", "reddit", "wikipedia", "xiaomi"]}{}",
"identifier": "lobe-web-browsing"
}
】可以看到模型调用时候请求指定了许多搜索引擎的时候，searxng无返回，且概率出现此问题，直接模型搜索关键词的时候无此问题，应该为函数的提示词有问题
2.是否考虑为该功能加一个变量，指定模型，可让不支持函数调用的模型拥有搜索能力
3.能否让变量设置内设置默认助手是否默认开启搜索
4.是否能支持让模型选出一些高相关的网页，获取网页正文，提高搜索效果

[arvinxx]

1. 🐛 fix: fix 0 search results with specific search engine #6487 这个 PR 会修正请求指定了许多搜索引擎无结果的问题，如果指定了没结果，会尝试去掉指定后再搜一次。
2. 这个是 [RFC] 085 - 联网搜索 #6277 这里提到的 Step 4和 Step 5 会做的事情
3. 可以， DEFAULT_AGENT_CONFIG="chatConfig.searchMode=auto" 应该这样配就行？ 可以试试看
4. 嗯，这个是准备做的

[gemnioo]

Firefox + LobeChat database 最新镜像, 报几个Bugs:

1st, 深色模式UI适配
2nd, 基础模型 譬如DeepSeek V3 function calling tools 基本不行(如图前两次不会终止 SearXNG. GPT 4o mini 会有 function calling 限制(貌似是第三方中转的原因

3rd, 搜索结果内容需要UI适配

[Sun-drenched]

连续调用是DeepSeek V3的问题，去年刚发布时就有人提issue了，DeepSeek那边说的是在下一个大版本修复。

[Steve235lab]

非常棒的功能，刚刚给我自己的实例配置好，管理员终于能统一为用户配置联网搜索了。跳了好几跳才找到这，希望文档可以跟进一下❤️

[Matinal111]

已自建服务接入，不过好像只有千问的模型可以配置联网搜索？

[Matinal111]

使用其它模型会报错TRPCClientError

[1iang]

写错了，formats是在search里面的

[Matinal111]

正解，不过docker 部署的这个 settings.yml 文件就是这么简洁，还是看了下 zeabur 模板才知道怎么写😂

[QYQSDTC]

我看了下这个 use_default_settings是用的 这个，是不是加上这个可以复写它默认设置里的
search:
formats:
- html
- json

[sijinhui]

另外有一个应该算小众的问题， 上游是oneapi时，再使用claude-sonnet使用联网功能时，会报错json解析失败。

原因是处理响应流时会自动把参数的值为空时替换为空字典，这里修改为空字符串即可修复，但我不太懂这里的逻辑，大佬可以看一下是否需要修复

[arvinxx]

这个是 oneapi 不遵循标准的 Tool Calling 规范。 请自行解决。

[SAnBlog]

OneAPi的问题挺多的,作者也不活跃,反馈很多问题都没处理,有没有好一点的代替品?

[SpeedupMaster]

OneAPi的问题挺多的,作者也不活跃,反馈很多问题都没处理,有没有好一点的代替品?

试试One Hub

[arvinxx]

不需要界面的话，个人推荐litellm。 我们的cloud服务基于litellm提供ai能力。我们会确保和litellm的兼容性

[SAnBlog]

可以,我都去了解一下

[Fear2014]

目前这个功能对deepseek r1不适用，请问什么时候会给r1也加上联网搜索功能？期待～

[arvinxx]

等 #6277 的Step4 和 Step5 ，争取这周搞定

[m0eak]

等 #6277 的Step4 和 Step5 ，争取这周搞定

期待期待期待

[QYQSDTC]

searx.space 这上面的 ready to use 的 instance 可以直接用吗

[Steve235lab]

searx.space 这上面的 ready to use 的 instance 可以直接用吗

searxng默认配置会对IP做比较严格的请求频率限制，这样RPC调用很容易被ban

[arvinxx]

大部分都不行，因为不支持 json 格式