维普论文检测系统

维普论文检测10月10日检测样例：

本章主要描述了目前分布式文件系统的现状，介绍了GFS、TFS等当前流行的分布式文件系统，在此基础上提出本文的主要写作内容是设计并实现一个具有特色的文件分布系统。

系统总体设计
　　本章通过对系统的功能、非功能需求分析、总体架构设计、系统功能流程图等设计，详细描述了系统的功能模块、主要业务流程。为系统开发提供了良好的技术框架。
　　Simple FS文件系统(以下简称系统)运行在由普通计算机所组成的计算机集群上而不是专门的高性能服务器上，系统存储的文件通常是小文件，大多在几K道几百K，系统中对文件的主要操作是写入、读取、删除、迁移。系统的设计目标分为高性能、高可靠性、高扩展性、高透明性以及高安全性。
　　互联网高并发的特点要求系统必须具有较高的性能，在文件读取上能够满足较高的并发性，读取过程分为查找定位和数据读取返回两个阶段，在查找定位阶段要实现快速定位需要能够分级定位和内存查找算法如Hash算法。在数据读取阶段对常用的数据文件要进行缓存，缓存要采用一定的策略，比如FIFO[[[]斯托林斯著、陈向群译.操作系统：精髓与设计原理.机械工业出版社.2010]]，LRU[[[] 斯托林斯著、陈向群译.操作系统：精髓与设计原理.机械工业出版社.2010]]等，比较常用的缓存工具有Memcache、redis等。
　　硬件的投入也是保证高性能的重要手段，当性能不能满足需要时通过增加硬件来提供系能是我们常用的手段，这也就要求系统具备很好的扩展性。
　　硬件的扩展性，在某一个模块中能够容易的增加服务器以达到扩展性能、功能的需求。一般情况每个模块都是一个集群，集群分为主备式和对等式，主备式就是一台服务器对外提供访问另外一台或多台服务器作为备用服务器不对外提供服务，只有当主服务器宕机的情况下备服务器才提供对外访问。主备式式有很好的可用性但在扩展性上不是很好，因为提供服务的服务器只有一台。对等式与主备式不同对等式集群内部的所有服务器都对外提供服务，其访问模式有多种多样，一般采用Hash取模的方式，但对于存在用户状态的请求则一般根据用户IP进行访问。对等式在扩展性上要优于主备式。
　　功能的扩展性，在项目完成后运行出去考虑到数据量、访问量和其他原因要对一些功能要求能够通过配置来实现开启和关闭，比如缓存功能。
　　高可靠性，在高并发下系统能够实时的、准确的提供正确的服务，在海量存储系统中硬件故障是常态，这就要求我们要做到硬件故障的隔离，保证业务在部分硬件故障的情况下仍能提供正常的业务服务。 
　　资源透明，用户访问接口唯一，不需要用户关心系统实现用到哪些资源，只要用户访问该接口就可以取得数据。在Simple FS中用户通过调用NS的对外接口来实现数据操作，NS本身和DS对用来说是完全透明的。
　　位置透明性，统一使用文件命名空间，文件或者文件集合可以不必改变路径名重新定位。LFS中采用专门的节点来负责文件系统命名空间的管理，文件的block可以被重新分布复制，block可以增加或减少副本，副本可以跨机架存储，这一切对用户来说都是透明的。
　　故障透明性，系统出现故障时集群内部能够及时移除故障节点让用户感觉不到影响，在系统中NS通过心跳来探测DS的状态一旦发现DS不能提供正常服务就立即转到此DS的备机。
　　该系统主要是解决文件的存储问题因此功能需求并不是很多，也没有特别的需求，主要是文件的增、删、改、查之类，但考虑到生产环境的实际情况下对文件修改并不常见，因此我们将不支持修改文件的需求。
　　对普通用来用户来说其功能需求主要是写入文件、删除文件、浏览文件，浏览文件分为浏览单独文件和浏览文件列表，对于浏览文件列表只要求能够按照给定文件名称来批量浏览，写入文件要求能够系统自动生成文件名称。