Lucene++ - a full-featured, c++ search engine
API Documentation


 All Data Structures Namespaces Files Functions Variables Typedefs Enumerations Enumerator Macros Pages
StandardTokenizerImpl.h
Go to the documentation of this file.
1 
2 // Copyright (c) 2009-2014 Alan Wright. All rights reserved.
3 // Distributable under the terms of either the Apache License (Version 2.0)
4 // or the GNU Lesser General Public License.
6 
7 #ifndef STANDARDTOKENIZERIMPL_H
8 #define STANDARDTOKENIZERIMPL_H
9 
10 #include "LuceneObject.h"
11 
12 namespace Lucene {
13 
15 public:
19 
20  virtual ~StandardTokenizerImpl();
21 
23 
24 protected:
26  static const int32_t ZZ_BUFFERSIZE;
27 
29  static CharArray _ZZ_CMAP;
30  static const wchar_t ZZ_CMAP_PACKED[];
31  static const int32_t ZZ_CMAP_LENGTH;
32  static const int32_t ZZ_CMAP_PACKED_LENGTH;
33 
35  static void ZZ_CMAP_INIT();
36  static const wchar_t* ZZ_CMAP();
37 
39  static IntArray _ZZ_ACTION;
40  static const wchar_t ZZ_ACTION_PACKED_0[];
41  static const int32_t ZZ_ACTION_LENGTH;
42  static const int32_t ZZ_ACTION_PACKED_LENGTH;
43 
45  static void ZZ_ACTION_INIT();
46  static const int32_t* ZZ_ACTION();
47 
49  static IntArray _ZZ_ROWMAP;
50  static const wchar_t ZZ_ROWMAP_PACKED_0[];
51  static const int32_t ZZ_ROWMAP_LENGTH;
52  static const int32_t ZZ_ROWMAP_PACKED_LENGTH;
53 
55  static void ZZ_ROWMAP_INIT();
56  static const int32_t* ZZ_ROWMAP();
57 
59  static IntArray _ZZ_TRANS;
60  static const wchar_t ZZ_TRANS_PACKED_0[];
61  static const int32_t ZZ_TRANS_LENGTH;
62  static const int32_t ZZ_TRANS_PACKED_LENGTH;
63 
65  static void ZZ_TRANS_INIT();
66  static const int32_t* ZZ_TRANS();
67 
68  // error codes
69  static const int32_t ZZ_UNKNOWN_ERROR;
70  static const int32_t ZZ_NO_MATCH;
71  static const int32_t ZZ_PUSHBACK_2BIG;
72 
73  static const wchar_t* ZZ_ERROR_MSG[];
74 
76  static IntArray _ZZ_ATTRIBUTE;
77  static const wchar_t ZZ_ATTRIBUTE_PACKED_0[];
78  static const int32_t ZZ_ATTRIBUTE_LENGTH;
79  static const int32_t ZZ_ATTRIBUTE_PACKED_LENGTH;
80 
82  static void ZZ_ATTRIBUTE_INIT();
83  static const int32_t* ZZ_ATTRIBUTE();
84 
87 
89  int32_t zzState;
90 
92  int32_t zzLexicalState;
93 
95  CharArray zzBuffer;
96 
98  int32_t zzMarkedPos;
99 
101  int32_t zzPushbackPos;
102 
104  int32_t zzCurrentPos;
105 
107  int32_t zzStartRead;
108 
110  int32_t zzEndRead;
111 
113  int32_t yyline;
114 
116  int32_t _yychar;
117 
119  int32_t yycolumn;
120 
122  bool zzAtBOL;
123 
125  bool zzAtEOF;
126 
127 public:
129  static const int32_t YYEOF;
130 
132  static const int32_t YYINITIAL;
133 
134 public:
135  int32_t yychar();
136 
138  void reset(const ReaderPtr& r);
139 
141  void getText(const TokenPtr& t);
142 
144  void getText(const TermAttributePtr& t);
145 
147  void yyclose();
148 
155  void yyreset(const ReaderPtr& reader);
156 
158  int32_t yystate();
159 
162  void yybegin(int32_t newState);
163 
165  String yytext();
166 
172  wchar_t yycharat(int32_t pos);
173 
175  int32_t yylength();
176 
181  void yypushback(int32_t number);
182 
185  int32_t getNextToken();
186 
187 protected:
189  bool zzRefill();
190 
200  void zzScanError(int32_t errorCode);
201 };
202 
203 }
204 
205 #endif

clucene.sourceforge.net