上线一周收获2K star,仅500行代码实现AI增强搜索引擎

70次阅读
没有评论

这个项目刚刚发布便登上 GitHub 热榜首位,短短一周便收获了惊人的 2K star,背后的团队更是备受热议,今天的开源项目就是 AI 搜索引擎:lepton search

上线一周收获 2K star,仅 500 行代码实现 AI 增强搜索引擎

Lepton Search 的一些背景

Lepton Search 是有 LeptonAI 推出的 ai 增强对话式搜索引擎,可以说从发布出来的那一天,就备受关注和争议。

上线一周收获 2K star,仅 500 行代码实现 AI 增强搜索引擎

首先要说不是产品,而是 LeptonAI 的 CEO 贾扬清。如果是关注 AI 圈子的人,一定对这个名字不陌生了,先是贾扬清发表的朋友圈,怒喷了一把国内某些大厂的大模型抄袭,当时一度爆火。

再说回产品,在 1 月 25 日 Lepton AI 发布了一个小 demo,当时 Lepton Search 还没有正式开源。在发布之后,号称要干掉谷歌搜索的 Perplexity 创始人声称 LeptonAI 在“借鉴”、“致敬”他们的产品。作为 LeptonAI 的创始人,贾扬清在 Twitter 上进行了公开回击,并且明确说,要开源 Lepton Search。

上线一周收获 2K star,仅 500 行代码实现 AI 增强搜索引擎

现在 Lepton Search 正式开源后,关注度更是持续升温。

上线一周收获 2K star,仅 500 行代码实现 AI 增强搜索引擎

Lepton Search 是什么

贾扬清在自己的团队记录里提到,这只是一个 demo,仅用了一个周末的时间来演示 AI 应用容易实现。以下它目前的能力:

  • 对 LLM 的内置支持
  • 内置搜索引擎支持
  • 可定制漂亮的 UI 界面
  • 可共享的缓存搜索结果

Lepton Search 之所以 500 行代码就能实现,依赖的是它背后已经模块化的 AI 能力,这里 Lepton Search 之所以核心使用到的能力有 3 块:

  • 大模型,调用了在 LeptonAI 自家云上部署的开源 Mixtral-8x7b 模型。
  • 搜索引擎,目前用了必应搜索的 API。
  • 数据存储,用自家 Lepton KV 作为无服务器存储。
上线一周收获 2K star,仅 500 行代码实现 AI 增强搜索引擎

所以 Lepton Search 是一个前端 UI 加接口调度的组合。但是这也给所有开发者一个借鉴,未来的 AI 应用开发将愈来愈模块化。

使用 Lepton Search

项目提供了在线试用:

https://search.lepton.run/

上线一周收获 2K star,仅 500 行代码实现 AI 增强搜索引擎

当然也可以自己来编译部署,以下几步:

首先需要获取 bing 的 key,设置为变量

export BING_SEARCH_V7_SUBSCRIPTION_KEY=YOUR_BING_SUBSCRIPTION_KEY

编译 web

cd web && npm install && npm run build

启动服务

BACKEND=BING python search_with_lepton.py

AI 增强搜索引擎

目前,大语言模型(LLM)主要面临两大挑战:数据陈旧、偶发幻觉。由于基础模型所使用的预训练数据集具有明确的截止日期,因此无法根据最新数据做出响应。即使是当前最强大的模型,也往往会因数据过时而编造答案,也就是人们常说的“幻觉”问题。

对于无法访问最新数据,可以有两种方法,第一种是通过搜索引擎,通过执行网络搜索并向大模型提交输来改善决策质量。

上线一周收获 2K star,仅 500 行代码实现 AI 增强搜索引擎

第二种方法是,通过所谓检索增强生成(RAG),这项成熟技术可以解决一定程度的“幻觉”问题。与前面提到的动态调用搜索 API 方法不同,RAG 强调从公开数据存储中检索数据,例如向量数据库或者由外部维护的全文搜索索引等。

上线一周收获 2K star,仅 500 行代码实现 AI 增强搜索引擎

项目信息

正文完
 0
老马
版权声明:本站原创文章,由 老马 于2024-02-13发表,共计1363字。
转载说明:本站提供的一切软件、教程、电子书、视频、图片、音乐、文字以及所有内容信息仅供个人学习、研究或欣赏;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。本站信息来自网友分享及网络收集整理,版权争议与本站无关。您必须在下载后的24个小时之内,从您的电脑或手机中彻底删除上述内容。如果您喜欢相关内容信息,请支持正版,进行购买注册,以得到更好的正版服务。我们非常重视版权问题,如有侵权请邮件与我们联系处理。敬请谅解!侵删请致信E-mail:tntwl@qq.com
评论(没有评论)