这个项目刚刚发布便登上 GitHub 热榜首位,短短一周便收获了惊人的 2K star,背后的团队更是备受热议,今天的开源项目就是 AI 搜索引擎:lepton search
Lepton Search 的一些背景
Lepton Search 是有 LeptonAI 推出的 ai 增强对话式搜索引擎,可以说从发布出来的那一天,就备受关注和争议。
首先要说不是产品,而是 LeptonAI 的 CEO 贾扬清。如果是关注 AI 圈子的人,一定对这个名字不陌生了,先是贾扬清发表的朋友圈,怒喷了一把国内某些大厂的大模型抄袭,当时一度爆火。
再说回产品,在 1 月 25 日 Lepton AI 发布了一个小 demo,当时 Lepton Search 还没有正式开源。在发布之后,号称要干掉谷歌搜索的 Perplexity 创始人声称 LeptonAI 在“借鉴”、“致敬”他们的产品。作为 LeptonAI 的创始人,贾扬清在 Twitter 上进行了公开回击,并且明确说,要开源 Lepton Search。
现在 Lepton Search 正式开源后,关注度更是持续升温。
Lepton Search 是什么
贾扬清在自己的团队记录里提到,这只是一个 demo,仅用了一个周末的时间来演示 AI 应用容易实现。以下它目前的能力:
- 对 LLM 的内置支持
- 内置搜索引擎支持
- 可定制漂亮的 UI 界面
- 可共享的缓存搜索结果
Lepton Search 之所以 500 行代码就能实现,依赖的是它背后已经模块化的 AI 能力,这里 Lepton Search 之所以核心使用到的能力有 3 块:
- 大模型,调用了在 LeptonAI 自家云上部署的开源 Mixtral-8x7b 模型。
- 搜索引擎,目前用了必应搜索的 API。
- 数据存储,用自家 Lepton KV 作为无服务器存储。
所以 Lepton Search 是一个前端 UI 加接口调度的组合。但是这也给所有开发者一个借鉴,未来的 AI 应用开发将愈来愈模块化。
使用 Lepton Search
项目提供了在线试用:
https://search.lepton.run/
当然也可以自己来编译部署,以下几步:
首先需要获取 bing 的 key,设置为变量
export BING_SEARCH_V7_SUBSCRIPTION_KEY=YOUR_BING_SUBSCRIPTION_KEY
编译 web
cd web && npm install && npm run build
启动服务
BACKEND=BING python search_with_lepton.py
AI 增强搜索引擎
目前,大语言模型(LLM)主要面临两大挑战:数据陈旧、偶发幻觉。由于基础模型所使用的预训练数据集具有明确的截止日期,因此无法根据最新数据做出响应。即使是当前最强大的模型,也往往会因数据过时而编造答案,也就是人们常说的“幻觉”问题。
对于无法访问最新数据,可以有两种方法,第一种是通过搜索引擎,通过执行网络搜索并向大模型提交输来改善决策质量。
第二种方法是,通过所谓检索增强生成(RAG),这项成熟技术可以解决一定程度的“幻觉”问题。与前面提到的动态调用搜索 API 方法不同,RAG 强调从公开数据存储中检索数据,例如向量数据库或者由外部维护的全文搜索索引等。
项目信息
- 项目名称:Lepton Search
- GitHub 链接:https://github.com/leptonai/search_with_lepton
- Star 数:2K+