Элементы, на которые разбивается исходный текст (токены)Пространство имен: pullenti.morph
Синтаксис
Свойства (get/set)
| Имя | Тип | Описание | |
|---|---|---|---|
![]() | language | MorphLang | Язык(и) |
![]() | length | int | Число символов (нормализованного фрагмента = term.length) |
Методы
| Имя | Тип значения | Описание | |
|---|---|---|---|
![]() | get_lemma | str | Лемма (вариант морфологической нормализации) |
![]() | get_source_text | str | Извлечь фрагмент из исходного текста, соответствующий токену |
Поля
| Имя | Тип | Описание | |
|---|---|---|---|
![]() | begin_char | int | Начальная позиция |
![]() | char_info | CharsInfo | Информация о токене |
![]() | end_char | int | Конечная позиция |
![]() | tag | object | Используется произвольным образом |
![]() | term | str | Нормализованный фрагмент исходного текста (верхний регистр, замена некотрых букв) |
![]() | word_forms | list | Варианты словоформ |


