企業(yè)數據中70%的數據是非結構化數據。大數據時(shí)代,企業(yè)非結構化數據的幾何式增長(cháng),給企業(yè)帶來(lái)了巨大的機遇和財富。許多中大型企業(yè)都希望建設自己的私有云存儲系統,做好海量數據的積累與傳承。
但是,企業(yè)該如何滿(mǎn)足不斷變化的存儲需求,保持系統的穩定性?如何有效地規避系統運行中因各種軟硬件問(wèn)題而導致的數據丟失、損壞等風(fēng)險?當數據增長(cháng)到一定量級時(shí),又如何對數據進(jìn)行高效利用?圍繞企業(yè)數據管理,又存在著(zhù)一系列的難題與挑戰。
但毋庸置疑的是,數據已經(jīng)成為企業(yè)最重要、最具有發(fā)展價(jià)值的數字資產(chǎn)。統一管理與充分利用好企業(yè)數據,不僅能夠提高企業(yè)日常辦公效率,更為企業(yè)的長(cháng)遠發(fā)展提供了堅實(shí)的基礎支持。
為了推動(dòng)中國企業(yè)的信息化進(jìn)程,實(shí)現企業(yè)向“互聯(lián)網(wǎng)+”的產(chǎn)業(yè)升級轉變,開(kāi)始云自主研發(fā)了“KFS私有云存儲系統”,幫助企業(yè)能夠快速搭建私有云平臺,解決海量非結構化數據的樹(shù)狀存儲及高IO吞吐等問(wèn)題。
安全、高效的數據存儲平臺
數據存儲
KFS私有云存儲系統完全基于JAVA開(kāi)始,支持Linus/Windows部署。整個(gè)系統設計為無(wú)單點(diǎn)故障,不論是元數據還是數據塊均支持多副本存儲,避免因各種軟硬件故障而導致的數據丟失。
在文件存儲數量方面,KFS私有云存儲系統采用標準樹(shù)狀目錄結構,支持海量小文件,支持存儲去重、大文件切割和冷熱數據分離。海量樹(shù)狀結構被智能分裂為眾多獨立分區分散管理,每個(gè)分區掌管一部分樹(shù)狀結構中的元數據,每個(gè)分區可由3臺名稱(chēng)服務(wù)器共同掌管。KFS私有云存儲系統支持無(wú)限文件夾層級和無(wú)限文件及文件夾數量。每臺名稱(chēng)服務(wù)器可參與掌管多個(gè)分區,可通過(guò)動(dòng)態(tài)增加名稱(chēng)服務(wù)器來(lái)彈性擴展整個(gè)集群的元數據容量。KFS私有云存儲系統集群可管理萬(wàn)臺以上名稱(chēng)服務(wù)器,以每臺名稱(chēng)服務(wù)器配備32G內存為例,每臺名稱(chēng)服務(wù)器可管理約1000萬(wàn)個(gè)文件元數據,考慮元數據三份副本機制,整個(gè)集群可管理文件個(gè)數可達數百億級別。
而在數據存儲容量方面,物理文件按策略均勻分散在眾多數據服務(wù)器中,企業(yè)可通過(guò)動(dòng)態(tài)增加數據服務(wù)器來(lái)彈性擴展整個(gè)集群的物理存儲容量。KFS私有云存儲系統集群可管理百萬(wàn)臺以上數據服務(wù)器,整個(gè)集群可存儲數據容量可達EB級(1EB=1024PB)。
數據傳輸
KFS私有云存儲系統采用HTTP通信協(xié)議,支持廣域網(wǎng)部署,信息流與數據流分離。KFS私有云存儲系統將數據塊均勻分散至各數據服務(wù)器,可通過(guò)增加數據服務(wù)器數量來(lái)彈性擴展傳輸帶寬。并且,KFS私有云存儲系統支持數據文件冷熱分離存儲,通過(guò)部分熱數據服務(wù)器,實(shí)現高帶寬要求的文件傳輸服務(wù)。
同時(shí),由于元數據被分散至多臺名稱(chēng)服務(wù)器管理,且單臺名稱(chēng)服務(wù)器可并發(fā)訪(fǎng)問(wèn)能力為5000以上,因此整個(gè)KFS私有云存儲系統集群的信息流并發(fā)訪(fǎng)問(wèn)能力可輕松超過(guò)一萬(wàn)。此外,KFS私有云存儲系統支持批量讀取元數據,可有效降低客戶(hù)端和服務(wù)器端交互次數。
數據分析
KFS私有云存儲系統兼容Hadoop,可使用KFS作為HadoopMapReduce及Spark大數據分析的數據源,支持基于KFS私有云存儲系統進(jìn)行大數據分析。
幫助管好數據,實(shí)現企業(yè)數據價(jià)值
安全可靠
KFS私有云存儲系統可作為企業(yè)IT應用系統的底層文件庫系統,支持多副本容災備份,無(wú)單點(diǎn)故障,防止數據丟失與用錯。
功能強大
KFS私有云存儲系統支持跨廣域網(wǎng)部署,為企業(yè)提供非結構化數據的一站式存儲、加速、備份和大數據分析服務(wù),輕松實(shí)現數據管理與增值。
高性?xún)r(jià)比
KFS私有云存儲系統支持彈性擴展,為企業(yè)省卻高額研發(fā)成本,帶寬可編程控制,實(shí)現企業(yè)流量帶寬成本和文件存儲成本的自動(dòng)調配,在確保存儲容量和帶寬的同時(shí)將成本降至最低。
彈性擴展
KFS私有云存儲系統支持彈性擴容和接口開(kāi)放,二次開(kāi)發(fā)更靈活。
數據驅動(dòng)企業(yè)更好發(fā)展
KFS私有云存儲系統是開(kāi)始云完全自主獨立研發(fā)的真正具有EB級海量文件集群能力的企業(yè)級分布式文件存儲系統,支持存儲文件個(gè)數超過(guò)千億,支持接入存儲服務(wù)器數量超過(guò)萬(wàn)臺。KFS私有云存儲系統能夠為企業(yè)實(shí)現“互聯(lián)網(wǎng)+”提供技術(shù)支持,快速整合企業(yè)數據,幫助企業(yè)不斷探索數據價(jià)值,推動(dòng)企業(yè)不斷向前。
亞馬遜前任首席科學(xué)家AndreasWeigend曾經(jīng)說(shuō)過(guò):“數據是新的石油?!痹谖磥?lái)10年甚至20年,數據都會(huì )是企業(yè)最重要的數字財富,即使到現在,我們都還處于大數據發(fā)展的初級階段。但是,從現在開(kāi)始,從數據的獲取、儲存到搜索、共享、分析,每一個(gè)過(guò)程都應該被企業(yè)所重視。一個(gè)好的企業(yè)應該未雨綢繆,借助技術(shù)和數據的力量,創(chuàng )造新的價(jià)值。