专利名称：一种基于HDFS的高性能文件存储与管理系统专利类型：发明专利
发明人：吴宗泽,张兴斌,李建中,梁泽逍,李俊彬,黄婷婷申请号：CN201910722847.3申请日：20190806公开号：CN110647497A公开日：20200103
摘要：本发明提供一种基于HDFS的高性能文件存储与管理系统，为解决HDFS对小文件存储支持的不足提出了文件预处理模块和文件合并模块，为提高文件读取效率提出了预取缓存模块，为提高空间整体利用率提出了碎片整理模块，为保护用户隐私文件提出了数据加密模块。本发明提出一种通用的小文件合并策略和HDFS客户端优化方案，结合了HAR文件归档方法和MapFile方法的优点，以适用于任何类型的文件。具体地，该系统优化了小文件合并策略并提出一种懒更新的碎片整理机制，以提高HDFS集群的空间利用率。同时，基于频率统计的热点文件策略提高了数据的读取速度，基于MD5登录加密和AES文件加密提高了用户账号和隐私文件的安全性。
申请人：广东工业大学
地址：510006 广东省广州市番禺区大学城外环西路100号
国籍：CN
代理机构：广州粤高专利商标代理有限公司
代理人：张金福
更多信息请下载全文后查看
因篇幅问题不能全部显示，请点此查看更多更全内容