es

Documentation

Index

• Variables
• func Fold(b []byte) []byte
• func Stemmer(raw []byte) ([]byte, bool)
• func Tokenizer(in []byte) iter.Seq[*tokenizer.Token]
• func TokenizerWithoutStopwords(in []byte) iter.Seq[*tokenizer.Token]

Variables

var Stopwords = tokenizer.BuildStopWords(

	"el", "la", "lo", "los", "las",
	"un", "una",
	"al",
	"del",

	"yo", "tu", "el", "ella", "ello",
	"nos", "os", "se", "me", "te", "le", "les",

	"mi", "mis", "su", "sus", "tus",

	"a", "ante", "bajo", "con", "contra",
	"de", "desde", "durante", "en", "entre",
	"hacia", "hasta", "mediante", "para", "por",
	"segun",
	"sin", "sobre",

	"y", "e", "o", "u", "ni",
	"pero", "sino", "aunque", "como", "porque",
	"que", "si", "cuando", "donde", "mientras",
	"cual",

	"este", "esta", "esto", "ese", "esa",

	"cuyo", "cuya",
	"aqui",
	"asi",
	"mas",

	"es", "son", "era", "fue",
	"ha", "han", "hay",
	"ser",

	"no", "ya", "muy", "bien", "solo",
	"todo", "toda",
	"otro",
	"cada", "tal",
	"si",
)

Functions

func Fold

func Fold(b []byte) []byte

func Stemmer

func Stemmer(raw []byte) ([]byte, bool)

func Tokenizer

func Tokenizer(in []byte) iter.Seq[*tokenizer.Token]

Tokenizer lowers tokens, folds accents (keeping ñ) and strips common plural and adverb suffixes. Light and lossy, not Snowball.

func TokenizerWithoutStopwords

func TokenizerWithoutStopwords(in []byte) iter.Seq[*tokenizer.Token]