Lucene - Jeton

Le jeton représente le texte ou le mot dans un document avec des détails pertinents tels que ses métadonnées (position, décalage de début, décalage de fin, type de jeton et son incrément de position).

Déclaration de classe

Voici la déclaration pour le org.apache.lucene.analysis.Token classe:

public class Token
   extends TermAttributeImpl
      implements TypeAttribute, PositionIncrementAttribute, 
         FlagsAttribute, OffsetAttribute, 
         PayloadAttribute, PositionLengthAttribute

Des champs

Voici les champs pour le org.apache.lucene.analysis.Token classe -

  • static AttributeSource.AttributeFactory TOKEN_ATTRIBUTE_FACTORY - Fabrique de commodité qui renvoie Token comme implémentation pour les attributs de base et renvoie l'implément par défaut (avec "Impl" ajouté) pour tous les autres attributs.

Constructeurs de classe

Le tableau suivant montre les différents constructeurs de classe -

S.No. Constructeur et description
1

Token()

Construit un jeton avec un texte nul.
2

Token(char[] startTermBuffer, int termBufferOffset, int termBufferLength, int start, int end)

Construit un jeton avec le tampon de terme donné (offset et longueur), les décalages de début et de fin
3

Token(int start, int end)

Construit un jeton avec du texte nul et des décalages de début et de fin.
4

Constructs a Token with null text and start & end offsets plus flags.
5

Constructs a Token with null text and start/ end offsets plus the Token type.
6

Token(String text, int start, int end)

Construit un jeton avec le texte du terme donné et des décalages de début / fin.
sept

Token(String text, int start, int end, int flags)

Construit un jeton avec le texte donné, les décalages de début / fin et le type.
8

Token(String text, int start, int end, String typ)

Construit un jeton avec le texte donné, les décalages de début / fin et le type.

Méthodes de classe

Le tableau suivant montre les différentes méthodes de classe -

S.No. Méthode et description
1

void clear()

Réinitialise le terme text, payload, flags et positionIncrement, startOffset, endOffset et le type de jeton par défaut.
2

Object clone()

Ceci est un clone peu profond.
3

Token clone(char[] newTermBuffer, int newTermOffset, int newTermLength, int newStartOffset, int newEndOffset)

Crée un clone, mais remplace le terme tampon et décalage de début / fin dans le processus.
4

void copyTo(AttributeImpl target)

Copie les valeurs de cet attribut dans l'attribut cible transmis.
5

int endOffset()

Renvoie le décalage de fin du jeton; un supérieur à la position du dernier caractère correspondant à ce jeton dans le texte source.
6

boolean equals(Object obj)
sept

int getFlags()

Obtient l'ensemble de bits pour tous les bits qui ont été définis.
8

Payload getPayload()

Renvoie la charge utile de ce jeton.
9

int getPositionIncrement()

Renvoie l'incrément de position de ce jeton.
dix

int getPositionLength()

Obtenez la longueur de la position.
11

int hashCode()
12

void reflectWith(AttributeReflector reflector)

Cette méthode est pour l'introspection des attributs, elle devrait simplement ajouter la clé / les valeurs que cet attribut contient au AttributeReflector donné.
13

Token reinit(char[] newTermBuffer, int newTermOffset, int newTermLength, int newStartOffset, int newEndOffset)

Raccourci pour appeler clear (), CharTermAttributeImpl.copyBuffer (char [], int, int), setStartOffset (int), setEndOffset (int) setType (java.lang.String) sur Token.DEFAULT_TYPE
14

Token reinit(char[] newTermBuffer, int newTermOffset, int newTermLength, int newStartOffset, int newEndOffset, String newType)

Raccourci pour appeler clear (), CharTermAttributeImpl.copyBuffer (char [], int, int), setStartOffset (int), setEndOffset (int), setType (java.lang.String)
15

Token reinit(String newTerm, int newStartOffset, int newEndOffset)

Raccourci pour appeler clear (), CharTermAttributeImpl.append (CharSequence), setStartOffset (int), setEndOffset (int) setType (java.lang.String) sur Token.DEFAULT_TYPE
16

Token reinit(String newTerm, int newTermOffset, int newTermLength, int newStartOffset, int newEndOffset)

Raccourci pour appeler clear (), CharTermAttributeImpl.append (CharSequence, int, int), setStartOffset (int), setEndOffset (int) setType (java.lang.String) sur Token.DEFAULT_TYPE
17

Token reinit(String newTerm, int newTermOffset, int newTermLength, int newStartOffset, int newEndOffset, String newType)

Raccourci pour appeler clear (), CharTermAttributeImpl.append (CharSequence, int, int), setStartOffset (int), setEndOffset (int) setType (java.lang.String)
18

Token reinit(String newTerm, int newStartOffset, int newEndOffset, String newType)

Raccourci pour appeler clear (), CharTermAttributeImpl.append (CharSequence), setStartOffset (int), setEndOffset (int) setType (java.lang.String)
19

void reinit(Token prototype)

Copie les champs du jeton prototype dans celui-ci.
20

void reinit(Token prototype, char[] newTermBuffer, int offset, int length)

Copie les champs du jeton prototype dans celui-ci, avec un terme différent.
21

void reinit(Token prototype, String newTerm)

Copie les champs du jeton prototype dans celui-ci, avec un terme différent.
22

void setEndOffset(int offset)

Définit le décalage de fin.
23

void setFlags(int flags)
24

void setOffset(int startOffset, int endOffset)

Définit le décalage de début et de fin.
25

void setPayload(Payload payload)

Définit la charge utile de ce jeton.
26

void setPositionIncrement(int positionIncrement)

Définit l'incrément de position.
27

void setPositionLength(int positionLength)

Réglez la longueur de la position.
28

void setStartOffset(int offset)

Définissez le décalage de départ.
29

void setType(String type)

Définit le type lexical.
30

int startOffset()

Renvoie le décalage de départ de ce jeton, la position du premier caractère correspondant à ce jeton dans le texte source.
31

String type()

Renvoie le type lexical de ce jeton.

Méthodes héritées

Cette classe hérite des méthodes des classes suivantes -

  • org.apache.lucene.analysis.tokenattributes.TermAttributeImpl
  • org.apache.lucene.analysis.tokenattributes.CharTermAttributeImpl
  • org.apache.lucene.util.AttributeImpl
  • java.lang.Object