Базовый класс для всех токенов. Наследные классы - TextToken (конечная словоформа) и MetaToken (связный фрагмент других токенов).

Пространство имен: Pullenti.Ner

Синтаксис

CSharp
public class Token

Свойства (get/set)

Имя	Тип	Описание
BeginChar	int	Позиция в тексте начального символа
EndChar	int	Позиция в тексте конечного символа
IsAnd	bool	Это соединительный союз И (на всех языках)
IsComma	bool	Это запятая
IsCommaAnd	bool	Это запятая или союз И
IsHiphen	bool	Это символ переноса
IsIgnored	bool	Игнорировать токен при обработке
IsLetters	bool	Признак того, что это буквенный текстовой токен (TextToken)
IsNewlineAfter	bool	Элемент заканчивает строку. Для последнего элемента всегда true.
IsNewlineBefore	bool	Элемент начинается с новой строки. Для 1-го элемента всегда true.
IsOr	bool	Это соединительный союз ИЛИ (на всех языках)
IsTableControlChar	bool	Это спец-символы для табличных элементов (7h, 1Eh, 1Fh)
IsWhitespaceAfter	bool	Наличие пробельных символов после
IsWhitespaceBefore	bool	Наличие пробельных символов перед
LengthChar	int	Длина в текстовых символах
Morph	MorphCollection	Морфологическая информация
NewlinesAfterCount	int	Количество переходов на новую строку перед
NewlinesBeforeCount	int	Количество переходов на новую строку перед
Next	Token	Следующий токен в цепочке токенов
Previous	Token	Предыдущий токен в цепочке токенов
WhitespacesAfterCount	int	Количество пробелов перед, переход на новую строку = 10, табуляция = 5
WhitespacesBeforeCount	int	Количество пробелов перед, переход на новую строку = 10, табуляция = 5

Методы

Имя	Тип значения	Описание
GetMorphClassInDictionary	MorphClass	Проверка, что слово есть в словаре соответствующего языка
GetNormalCaseText	string	Получить связанный с токеном текст в именительном падеже
GetReferent	Referent	Получить ссылку на сущность (не null только для ReferentToken)
GetReferents	List<Referent>	Получить список ссылок на все сущности, скрывающиеся под элементом. Дело в том, что одни сущности могут накрывать другие (например, адрес накроет город).
GetSourceText	string	Получить фрагмент исходного текста, связанный с токеном
IsChar	bool	Токен состоит из конкретного символа
IsCharOf	bool	Токен состоит из одного символа, который есть в указанной строке
IsValue	bool	Проверка конкретного значения слова (с учётом морф.вариантов)
IsValue2	bool	Проверка двух подряд идущих слов (с учётом морф.вариантов)
IsValue3	bool	Проверка трёх подряд идущих слова (с учётом морф.вариантов)

Поля

Имя	Тип	Описание
Chars	CharsInfo	Информация о символах
Kit	AnalysisKit	Аналитический контейнер
Tag	object	Используется произвольным образом