【Go语言开发简单了解一下搜索引擎并用go写一个小demo

开发运维 2023-07-16 穿过生命散发芬芳手机阅读

写在前面

这篇文章我们一起来了解一下搜索引擎的原理，以及用go写一个小demo来体验一下搜索引擎。

所有资料都可以去我同名公众号 回复 搜索引擎 获取哦~ 
视频讲解在这里:https://www.bilibili.com/video/BV16j411d7g3

在这里插入图片描述

简介

搜索引擎一般简化为三个步骤

爬虫：爬取数据源，用做搜索数据支持。
索引：根据爬虫爬取到的数据进行索引的建立。
排序：对搜索的结果进行排序。

然后我们再对几个专业名词做一个简单解释

document：用于构建索引库的数据
term：将一段文本进行分词，分词之后的每个最小单元叫做 Term，比如“苹果发布会”，分词之后就是【苹果，发布会】，“苹果”和“发布会”就是最小单元的 term。
token：token 是 term 的一次出现，它包含 term 文本和相应的起止偏移，以及一个类型字符串。一句话中可以出现多次相同的词语，它们都用同一个 term 表示，但是用不同的 Token，每个 Token 标记该词语出现的地方。比如 token中不仅有term还有这个term在这个文档的位置。

爬虫
爬虫就很简单了，不是重点，我们准备好数据源即可。
索引

2.1 正排索引&倒排索引

索引分成正排索引和倒排索引。正排索引：将文档按照文档顺序进行组织的索引结构。倒排索引：根据词条来组织文档数据的索引结构。

举个例子：假设我们有三个文档：

文档1，内容为"postman datagrip goland"；文档2，内容为"goland vscode"；文档3，内容为"pycharm goland"。

使用正排索引和倒排索引来存储这些文档：
- 正排索引：
文档1："postman datagrip goland" 文档2："goland vscode" 文档3："pycharm goland"

在正排索引中，我们按照文档的顺序存储了每个文档的完整内容。
- 倒排索引：
postman：文档1， datagrip：文档1， goland：文档1，文档2，文档3 vscode：文档2 pycharm：文档3

在倒排索引中，我们将每个词条映射到包含该词条的文档集合上。例如，"postman"出现在文档1中

2.2 构建索引
- 读取数据源
首先观察数据源，确定了我们的索引对象是第16个，也就是电影的主要内容。

读取数据源，构造索引数据
```
func fileOpen() []string {
file, err := os.Open("movies.csv")
 if err != nil {
    fmt.Println("err", err)
}
defer file.Close()
 // 创建一个 Scanner 用来读取文件内容
docx := make([]string, 0)
scanner := bufio.NewScanner(file)
 // 逐行读取文件内容并打印
 for scanner.Scan() {
   re := make([]string, 0)
   line := scanner.Text()
    re = strings.Split(line, ",")
    docx = append(docx, re[16])
 }
docx = docx[1:]

return docx
}
```
- 分词
当我们读取数据之后，要对数据进行分词，分成一个个的词，用作建立索引库。但分词之前我们要先数据清洗一下，文就是去掉一些语气词，标点符号；

文则是去除一些语气词，做预干转移（过去式，未来式都变成现在式，比如learning --> learn），转成小写之类的。

定义一下StopWord，如果出现StopWord里面的词，就进行删除替换。
```
var StopWord = []string{",", ".", "。", "*", "(", ")", "'", """}
```
定义一个 removeShopWord 的 func，传入 word，也就是段落，先进行数据的清洗，再将word进行分词。
```
func removeShopWord(word string) string {
 for i := range StopWord {
    word = strings.Replace(word, StopWord[i], "", -1)
 }

return word
}
```
定义一个 tokenize 进行分词操作。使用 github.com/go-ego/gse 包进行分词操作。
```
var gobalGse gse.Segmenter
```

func InitConfig() { gobalGse, _ = gse.New() }

func tokenize(text string) []string { text = removeShopWord(text)

return gobalGse.CutSearch(text) }

索引构建

定义一个map结构，key 是一个 term，value 是包含有 term 关键字的文档的 id 数组。

type InvertedIndex map[string][]int

构建索引

func BuildIndex(docx []string) InvertedIndex {
index := make(InvertedIndex)
 for i, d := range docx { // 遍历所有的docx
   for _, word := range tokenize(d) { // 对所有的docx进行token
       if _, ok := index[word]; !ok { // 如果index不存在这个term了
          index[word] = []int{i} // 初始化并放入 行数
      } else {
         index[word] = append(index[word], i) 
         // 如果index不存在，则放入该term所在的 行数，也就是 行数
      }
    }
 }

 return index
}

这里我们的 token 和 term 是一样的了，因为token中只有term，没有定义别的东西，比如term在doc的位置等等...

3.1 搜索排序

搜索

我们定义 query 为搜索的内容，对query进行分词操作，然后再存储符合要求的docx文档的id。那我们的search函数的传入就是倒排索引 index，搜索词条 query，正排索引 docs

func search(index InvertedIndex, query string, docs []string) ([]string, []string) {
result := make(map[int]bool)
qy := tokenize(query)     // query词条进行分词
for _, word := range qy { // 遍历分完词的每一个term
    if doc, ok := index[word]; ok {
        // 搜索倒排索引中，term对应的doc数组，doc数组就是存在该term词条的所有的doc id
        for _, d := range doc {
            // 对doc数组进行遍历，获取所有的doc id，并且进行标志。
            result[d] = true
        }
    }
}

output := []string{}
for d := range result {
    output = append(output, docs[d])
    // 利用正排索引，找到id对应的存储内容并返回
}
return output, qy
}

3.2 排序

当我们搜索完结果后，自然会有结果，但是这些结果的排序是不合理的，我们要进行重新排序。排序的规则也有很多，比如文档相似度，竞价排名等等...

那么我们这里就用最简单的TFIDF来进行计算所搜索出来的doc和term之间的权重。

首先了解一下TFIDF： TF（词频）指的是某个词在文档中出现的频率。在计算TF时，我们可以简单地使用词出现的次数除以文档中的总词数。 IDF（逆文档频率）指的是某个词在文档集合中的多少文档中出现过的程度。计算IDF时，我们可以将所有文档数目除以包含该词的文档数目。 TF-IDF的计算方式是将TF和IDF相乘，得到一个词在文档中的重要性分数。这个分数能够衡量一个词对于文档的重要性：如果一个词在某个文档中频繁出现，并且在整个文档集合中罕见，那么它可能是一个具有较高重要性的词。

计算TF： term在这个文档中的出现的次数/这个document所有的分词的数量

func calculateTF(term string, document string) float64 {
termCount := strings.Count(document, term)
totalWords := len(tokenize(document))
return float64(termCount) / float64(totalWords)
}

计算IDF：所有文档的数量/term在所有文档中出现的次数

func calculateIDF(term string, documents []string) float64 {
docWithTerm := 0
for _, doc := range documents {
   if strings.Contains(doc, term) {
      docWithTerm++
   }
}
return float64(len(documents)) / float64(docWithTerm)
}

TF*IDF即可获取权重，下面这里是由于数据问题，我是乘以100的

func calculateTFIDF(term string, document string, documents []string) float64 {
tf := calculateTF(term, document)
idf := calculateIDF(term, documents)
return tf * idf * 100.0
}

先定义好排序所需要的请求体

type SortRes struct {
Docx  string
Score float64
Id    int
}

具体排序： qy为输入的query分词后的token形式，res则是搜索结构，返回值是将res排序好的结果。

func sortRes(qy []string, res []string) []*SortRes {
exist := make(map[int]*SortRes)
for _, v := range qy { // 遍历每一个query的分词后的token词条
    for i, v2 := range res { // 遍历每一个结果
        score := calculateTFIDF(v, v2, res)
        // 记录分数构成，计算每个词条对每个文档结构的score
        if _, ok := exist[i]; !ok {
            // 如果exist中还没存在这个词条，则进行进行初始化
            tmp := &SortRes{
                Docx:  v2,
                Score: score,
                Id:    i,
            }
            exist[i] = tmp
        } else {
            // 如果已经存在了，则进行分数的相加
            // 意思就是每个res中的doc对于每个token的权重之和的结果。权重的对象始终都是res中doc
            exist[i].Score += score
        }
    }
}
resList := make([]*SortRes, 0)
for _, v := range exist { // 构建结构体
    resList = append(resList, &SortRes{
        Docx:  v.Docx,
        Score: v.Score,
        Id:    v.Id,
    })
}
sort.Slice(resList, func(i, j int) bool { // 按照score进行排序
    return resList[i].Score > resList[j].Score
})
return resList
}

演示

func TestSe(t *testing.T) {
query := "王小波,徐克"
InitConfig() // 初始化配置
docx := fileOpen()
index := BuildIndex(docx) // 创建index
 res, qy := search(index, query, docx)
 fmt.Printf("一共%d记录，query分词结果%vn", len(res), qy)
 resList := sortRes(qy, res)
for i := range resList {
   fmt.Println(resList[i].Score, resList[i].Docx)
 }
}

结果：

第一行输出一共多少条搜索记录，然后是输入的query的分词结果接着输出每一个搜索结果的score，以及对应的docx文本。

一共6记录，query分词结果[小波 王小波 徐克]
39.99999999999999 "王小波的作品《红拂夜奔》将被改编为电影，徐克执导"
20.689655172413794 "王小波经典中篇小说《绿毛水怪》将改编电影。《绿毛水怪》是王小波早期手稿作品，以天马行空的想象，极具魔幻色彩的情感脉络，独树一帜的批评、反讽，受到广大书迷的喜爱。王小波曾创作电影剧本《东宫西宫》，此后尚未有作品改编成电影。据悉，李银河将担任《绿毛水怪》电影版的文学顾问。"
8 "博纳公布新片计划 徐克将开拍《智取威虎山3D》"
3.0769230769230766 "徐克将拍摄电影版《神雕侠侣》三部曲，施南生监制。这是徐克自执导《东方不败风云再起》后，24年来再次拍摄金庸武侠作品，杨过和龙女的故事将登大银幕。自1983年香港邵氏出品制作《杨过与小龙女》电影版后，这部作品34年来都再未出现在大银幕上。"
2.222222222222222 "《抓猴》是一 部徐克导演的现代题材的3D惊悚片，剧情悬疑诡异。影片的主要故事在三个女主演身上展开，在窥视、背叛、阴谋、死亡的惊险不断中，导向一个让人意想不到的结局"
1.4906832298136643 "在去年北影节“跨界与融合—中国电影投融资高峰论坛”上，博纳副总裁丁一岚透露，徐克计划拍《智取威虎山》前传。丁一岚谈到“投资瞄准度”话题时表示博纳是一个“传统的电影公司”，“传统的电影公司会去养一个市场，不会一本万利，我们人人都期待有爆款，可爆款是建立在一将功成万骨枯的基础上，我也不指望所有的项目里面一定有爆款，所以只能按照基础的商业规则去运作每一个项目。接着我们可能启动《智取威虎山》前传，可能还是徐克来导，因为这是用一种新的方式，开发一些被大家忽略的地方。"

当然这个是一个很粗糙的demo，还有很多东西没有，比如如何merge多个倒排索引，如何存储倒排索引，分词如何更好一点，计算排名的权重如何选择和优化等等...

参考

www.jianshu.com/p/1fa4b0d9a…
www.syrr.cn/news/22044.…
chat.openai.com/

【Go语言开发简单了解一下搜索引擎并用go写一个小demo

2.1 正排索引&倒排索引

2.2 构建索引

3.1 搜索 排序

3.2 排序

Python绘图库turtle菜鸟快速入门

如何解决Java文件夹创建权限异常（FolderCreationPermissionException）

学习怎样配置Dart开发环境，变量声明、数据类型、函数、运算符、控制流程语法

了不起的SSH

如何使用 PHP 函数别名？

3.1 搜索排序