维普论文检测系统

维普论文检测11月19日检测样例：

第四章 系统管理平台设计与实现

系统管理平台是针对基于Nutch的农业垂直搜索引擎设计的用于管理搜索引擎的一个工具。该平台主要集成了农业领域本体库、基于Nutch的农业垂直搜索引擎、农业信息检索服务等。本章主要针对系统需求、体系结构以及系统功能进行分析，最后进行系统测试和评价。

4.1 系统管理平台分析与设计

4.1.1 系统需求分析

基于Nutch的农业垂直搜索引擎是国家“十二五”农村领域国家科技计划课题《西部旱区农业物联信息服务平台》中《农业信息服务联盟》的一个子任务中的一个模块部分。因此，基于Nutch的农业垂直搜索引擎系统管理平台的设计与实现的任务性很明确，该平台的主要目的是方便对基于Nutch的农业垂直搜索引擎的使用和管理。

本研究结合项目背景和基于Nutch的农业垂直搜索引擎管理需求，分析与设计了系统管理平台。其功能需求可以简单总结为几个方面，如下所示：

（1）农业领域本体库管理

基于Nutch的农业垂直搜索引擎结合农业领域本体库在智能语义层次上实现主题相关性判别、结果排序、查询扩展等功能。因此，为了方便农业领域本体库的使用和更新，本研究搭建系统管理平台可以很方面的管理农业领域本体库。农业领域本体库的管理主要是对农业领域概念和概念间关系的管理，其中农业领域概念管理主要包括采用Web信息抽取技术获取农业领域资源的管理、采用中文分词技术进行中文分词及标签清洗等操作对农业领域资源进行数据清洗的管理以及采用TF-IDF进行相关度判别的管理，概念间关系管理主要包括采用关联分析对农业领域概念的分析管理、采用Jaccard系数进行相关性计算的管理、采用余弦函数进行相似度计算的管理、采用K-means聚类进行聚类的管理以及生成农业领域本体库的管理。

（2）搜索引擎管理

本研究最核心的目的是基于Nutch开源搜索引擎开发农业垂直搜索引擎，它与传统搜索引擎的最大区别是添加了主题相关性判别。为了能更好的显示本研究构建的基于Nutch的农业垂直搜索引擎具有传统搜索引擎所不具有的“专、精、深”特点，因此本研究搜索引擎采用人工手动调整和自动调整两种方式调整主题相关度阈值，主题相关性判别阈值在系统管理平台的相关度阈值设置模块根据需要进行调整。除此之外，为了方面系统管理员更新索引库，基于Nutch的农业垂直搜索引擎在使用网络爬虫爬取网页前，通过系统管理平台的索引库建立模块分别设定爬取的层数和设置线程个数，进行资源爬取和信息过滤，最后建立索引库，为用户检索服务。

（3）农业信息检索服务管理

为了方便用户检索农业领域相关信息，本研究在提供基于Nutch的农业垂直搜索引擎检索农业信息的同时，提供一个农业网址导航服务网站。对基于Nutch的农业垂直搜索引擎的检索服务，本系统管理平台提供两种检索接口方式，一种是网页版的检索接口，另一种单机版的检索接口，方便用户检索农业领域相关信息；农业网址导航服务网站主要是向用户分类提供一些常用著名网站的URL链接，同时向用户提供多种搜索引擎检索服务接口，这样不仅能够方便用户使用搜索引擎，还能够方便用户进行不同搜索引擎检索结果的对比。

4.1.2 系统体系结构

根据系统管理平台需求分析，可以将系统管理平台划分为三个层次农业领域本体库管理层、搜索引擎索引库管理层、用户检索接口层。系统平台在实现过程中，根据系统功能需求又可将其分解为更多个子模块。基于Nutch的农业垂直搜索引擎系统管理平台的总体架构如下图4-1所示。

（1）农业领域本体库管理层

基于Nutch的农业垂直搜索引擎在实现主题过滤、结果排序、用户检索扩展等功能上都是基于语义层次上实现的，其实质是结合农业领域本体库进行实现的。农业领域本体库的管理主要包括农业领域概念的获取和发现概念间的关系，其中农业领域概念的获取采用Web信息抽取技术获取农业领域资源作为语料库，采用中文分词等技术对资源进行分词、数据清洗等操作，结合农业领域词典对清洗后的数据进行农业相关度判别获取农业领域概念；发现概念间关系采用基于共现的关联分析对农业领域概念进行分析，采用Jaccard系数、余弦函数等公示对其进行相关度分析，采用聚类技术对其进行聚类发现概念间关系。最后，将农业领域概念和其概念间关系以一定形式存储，本研究将其存入MySQL数据库，构成农业领域本体库，为后续研究做准备。