文本分词器实例讲解

作者：创世魂

“创建”帮助文档：

通过本方法可将一串文本按照特定的空白字符进行分割。

例如：空格符，换行符等。

分割后返回当前分词器对象。

“取下一个单词”帮助文档：

通过本方法可取出分割后的单个词组。

如果为第一次调用，则取出首个词组。

代码编写如下图：

1、定义类型为“文本分词器”的成员变量，勾选参考。

2、“按钮1”被点击后，调用“创建()”方法，分割一串文本后并赋值给定义的分词器变量。

3、“按钮2”被点击后，调用“取下一单词()”方法，取出分割后的词组。

运行结果如下图（GIF）：

可看到重复点击“按钮2”所有词组都将会取出。

帮助文档如下图：

本方法可用指定分隔符创建分词器对象。

参数1：填写要分割的文本。

参数2：填写分隔符。

参数3：如果填写真，分隔符自身也会返回，否则不返回。

代码编写如下图：

1、“按钮1”被点击后，调用当前方法利用“|”分割一串文本。

2、“按钮2”点击后调用“取下一个单词()”方法取出单词。

运行结果如下图(GIF)：

最终结果，会按照指定分割符进行分割。

帮助文档如下图：

通过本方法可重新指定分隔符分割文本，并取出分割后的文本。

代码编写如下图：

1、“按钮1”被点击后，调用当前方法利用“|”分割一串文本。

2、“按钮2”被点击后，调用本方法利用“+”重新分割取单词。

运行结果如下图(GIF)：

最终结果，会重新按照指定的分隔符分割。

帮助文档如下图：

通过本方法可取出剩余单词数目，返回值为整数。

代码编写如下图：

1、“按钮1”被点击后，创建分词器后执行一次“取下一个单词()”方法。

2、“按钮2”被点击后，调用当前方法取出剩余单词数量。

运行结果如下图(GIF)：

因执行过一次“取下一个单词()”方法，所以此时剩余数量为3。

帮助文档如下图：

本方法就是用来判断当前分词器是否还有剩余单词。

代码编写如下图：

1、“按钮1”被点击后，创建分词器对象。

2、“按钮2”被点击后，利用“判断循环()”和当前方法，循环取出下一个单词。

运行结果如下图(GIF)：

最终结果，所有分割的单词会一次性取出。