一）分词
1）正向/逆向最大匹配算法
典型：IKAnalyzer采用的是正向迭代最细粒度切分算法
IKAnalyzer源码简单分析：
http://www.cnblogs.com/huangfox/p/3282003.html
2）字典树（trieTree）
trieTree实现
http://www.cnblogs.com/huangfox/archive/2012/04/27/2474185.html
中文分词遇到的问题：
a）标准trieTree节点采用数组存储指针，如果是英文a-z用26长度的数组表示，但是中文不能用这种存储方式，节点数组长度等于中文字数。（内存撑不住！）
b）如何节点内部查询？采用数组进行二分查找，或者采用map。（ik结合了这两种方式）
具体还可以参考：
http://hxraid.iteye.com/blog/618962
3）消歧算法
4）新词识别算法（机构名、品牌名、专业名词、缩略语、网络新词等）
具体参考：
http://www.programmer.com.cn/12276/
二）索引
1）压缩算法
前缀后缀规则、差值规则
2）跳跃表
为了提高查找的性能，Lucene在很多地方采取的跳跃表的数据结构。
跳跃表(Skip List)是如图的一种数据结构，有以下几个基本特征：
- 元素是按顺序排列的，在Lucene中，或是按字典顺序排列，或是按从小到大顺序排列。
- 跳跃是有间隔的(Interval)，也即每次跳跃的元素数，间隔是事先配置好的，如图跳跃表的间隔为3。
- 跳跃表是由层次的(level)，每一层的每隔指定间隔的元素构成上一层，如图跳跃表共有2层。
节选自：http://forfuture1978.iteye.com/blog/546824
三）检索
1）文本相关性算法（tfIdf）
tfIdf的详细解释：
http://www.ruanyifeng.com/blog/2013/03/cosine_similarity.html
lucene打分过程：
http://www.cnblogs.com/huangfox/archive/2012/07/02/2573333.html
2）字段排序过程中——优先级队列
请参考：
http://www.cnblogs.com/huangfox/archive/2012/07/11/2586232.html
相关知识：
a）堆排序
http://www.cnblogs.com/huangfox/archive/2012/06/30/2571216.html
四）扩展
1）相似检索（MoreLikeThis）
关键步骤：
a）字频统计
b）去噪（黑名单、词条长度）
c）计算词权（tfIdf）
d）构建query
F）检索
具体参考：
http://www.cnblogs.com/huangfox/archive/2012/07/05/2578179.html
2）拼写检查（SpellingChecker）
关键算法：
a）N-gram
b）编辑距离
具体参考：
http://www.cnblogs.com/huangfox/archive/2012/02/14/2350349.html
3）电商排序模型
多因子综合排序（略）
----------------------------------------------------------------
其他
1）自动关键词的应用（牵涉到相似检索）
2）同义词、近义词的应用