Включая защищенные члены
Включая унаследованные члены

Include .NET Framework Members
Include .NET Compact Framework Members
Include XNA Framework Members

SDK Pullenti programming reference for Python

tokenize - метод

Произвести чистую токенизацию без формирования морф-вариантов

Владелец: pullenti.morph.MorphologyService

Синтаксис

Параметры

text

Тип: str

исходный текст

Возвращаемое значение

Тип: list

последовательность результирующих лексем