12.5. 解析器#

文本搜索解析器负责将原始文档文本拆分为标记并识别每个标记的类型，其中可能的类型集由解析器本身定义。请注意，解析器根本不会修改文本 — 它只是识别合理的单词边界。由于此范围有限，因此对特定于应用程序的自定义解析器的需求低于对自定义词典的需求。目前PostgreSQL只提供一个内置解析器，该解析器已被发现对广泛的应用程序很有用。

内置解析器的名称为pg_catalog.default。它识别 23 种标记类型，如表 12.1所示。

表 12.1. 默认解析器的标记类型

别名	描述	示例
`asciiword`	单词，所有 ASCII 字母	`elephant`
`word`	单词，所有字母	`mañana`
`numword`	单词，字母和数字	`beta1`
`asciihword`	连字符单词，所有 ASCII	`up-to-date`
`hword`	连字符单词，所有字母	`lógico-matemática`
`numhword`	连字符单词，字母和数字	`postgresql-beta1`
`hword_asciipart`	连字符单词部分，所有 ASCII	在上下文 `postgresql-beta1` 中的 `postgresql`
`hword_part`	连字符单词部分，所有字母	在上下文 `lógico-matemática` 中的 `lógico` 或 `matemática`
`hword_numpart`	连字符单词部分，字母和数字	在上下文 `postgresql-beta1` 中的 `beta1`
`email`	电子邮件地址	`[email protected]`
`protocol`	协议头	`http://`
`url`	URL	`example.com/stuff/index.html`
`host`	主机	`example.com`
`url_path`	URL 路径	在 URL 上下文中，`/stuff/index.html`
`file`	文件或路径名	如果不在 URL 中，`/usr/local/foo.txt`
`sfloat`	科学计数法	`-1.234e56`
`float`	十进制记数法	`-1.234`
`int`	带符号整数	`-1234`
`uint`	无符号整数	`1234`
`version`	版本号	`8.3.0`
`tag`	XML 标记	`<a href="dictionaries.html">`
`entity`	XML 实体	`&`
`blank`	空格符号	（任何未识别的空白或标点符号）

注意

解析器对“字母”的概念由数据库的区域设置确定，特别是lc_ctype。仅包含基本 ASCII 字母的单词被报告为单独的令牌类型，因为有时区分它们很有用。在大多数欧洲语言中，令牌类型word和asciiword应被视为相同。email不支持RFC 5322定义的所有有效电子邮件字符。具体来说，电子邮件用户名支持的唯一非字母数字字符是句点、破折号和下划线。

解析器有可能从同一文本片段生成重叠的令牌。例如，连字符单词将被报告为整个单词和每个组成部分

SELECT alias, description, token FROM ts_debug('foo-bar-beta1');
      alias      |               description                |     token
-----------------+------------------------------------------+---------------
 numhword        | Hyphenated word, letters and digits      | foo-bar-beta1
 hword_asciipart | Hyphenated word part, all ASCII          | foo
 blank           | Space symbols                            | -
 hword_asciipart | Hyphenated word part, all ASCII          | bar
 blank           | Space symbols                            | -
 hword_numpart   | Hyphenated word part, letters and digits | beta1

此行为是可取的，因为它允许对整个复合词和组件进行搜索。以下是一个有益的示例

SELECT alias, description, token FROM ts_debug('http://example.com/stuff/index.html');
  alias   |  description  |            token
----------+---------------+------------------------------
 protocol | Protocol head | http://
 url      | URL           | example.com/stuff/index.html
 host     | Host          | example.com
 url_path | URL path      | /stuff/index.html

12.5. 解析器# ​

12.5. 解析器#