企業空間 采購商城 存儲論壇
華為全閃存陣列 IBM云計算 Acronis 安克諾斯 安騰普 騰保數據
首頁 > 技術園地 > 文件系統 > 正文

TFS(淘寶文件系統)介紹篇

2011-07-25 16:29來源:中國存儲網
導讀:TFS淘寶文件系統,淘寶內部使用的分布式文件系統,TFS主要解決海量小文件的分布式存儲,2007 TFS1.0發布,2008 TFS1.3發布。
什么是TFS?
TFS,Taobao File System,淘寶文件系統,淘寶內部使用的分布式文件系統,主要針對海量小文件的隨機讀寫訪問性能做了特殊優化,承載著淘寶主站所有圖片、商品描述等數據的存儲。
TFS有什么特點
完全扁平化的數據組織結構,拋棄了傳統文件系統的目錄結構。
在塊設備基礎上建立自有的文件系統,減少EXT3等文件系統數據碎片帶來的性能損耗
單進程管理單塊磁盤的方式,摒除RAID5機制
帶有HA機制的中央控制節點,在安全穩定和性能復雜度之間取得平衡。
盡量縮減元數據大小,將元數據全部加載入內存,提升訪問速度。
跨機架和IDC的負載均衡和冗余安全策略。
完全平滑擴容
TFS在淘寶的應用規模
  • 數百臺PCServer
  • PB級數據量
  • 百億數據級別
TFS的性能參數
TFS在淘寶的部署環境中前端有兩層緩沖,到達TFS系統的請求非常離散,所以TFS內部是沒有任何數據的內存緩沖的,包括傳統文件系統的內存緩沖也不存在。我們主要的性能參數不是IO吞吐量,而是單臺PCServer提供隨機讀寫IOPS。由于大家硬件型號不同,當然也是因為一些技術保密的原因,我們很難給出一個參考值來說明性能。但基本上我們可以達到單塊磁盤隨機IOPS理論最大值的60%左右,整機的輸出隨盤數增加而線性增加。 
TFS的邏輯架構圖
TFS(淘寶文件系統)介紹篇
  • TFS尚未對最終用戶提供傳統文件系統API,需要通過TFSClient進行接口訪問,現有JAVA、JNI、C、PHP的客戶端
  • TFS的NameServer作為中心控制節點,監控所有數據節點的運行狀況,負責讀寫調度的負載均衡,同時管理一級元數據用來幫助客戶端定位需要訪問的數據節點
  • TFS的DataServer作為數據節點,負責數據實際發生的負載均衡和數據冗余,同時管理二級元數據幫助客戶端獲取真實的業務數據。 
TFS發展歷史
TFS1.0簡介
2007年6月,淘寶自主開發的分布式的文件系統, TFS(Taobao File System)1.0上線運行,主要解決海量小文件的分布式存儲
集群規模:200臺PC Server(146G*6 SAS 15K Raid5) 
文件數量: 億級別
系統部署存儲容量: 140 TB
實際使用存儲容量: 50 TB
單臺支持隨機IOPS200+,流量3MBps
TFS1.0的特性
•集群由一對Name Server和多臺Data Server構成 
•Data Server運行在掛很多硬盤的Linux主機上
•以block文件的形式存放數據文件(一般64M一個block)
•文件名內置元數據信息,用戶自己保存TFS文件名與實際文件的對照關系–使得元數據量特別小
•如T2auNFXXBaXXXXXXXX_!!140680281.jpg,名字中含有邏輯的block_no和object_no等 
•block存多份保證數據安全
•利用ext3文件系統存放數據文件
•磁盤raid5做數據冗余
TFS1.3簡介
2009年6月,TFS(TaobaoFile System)1.3上線運行
集群規模440臺PC Server (300G*12 SAS 15K RPM) + 30臺PC Server (600G*12 SAS 15K RPM) 
文件數量:百億級別
系統部署存儲容量:1800 TB
當前實際存儲容量:995TB
單臺Data Server支持隨機IOPS900+,流量15MB+
目前Name Server運行的物理內存是217MB(服務器使用千兆網卡)
2010下半年開始部署PC Server (1T SATA * 12) 
TFS1.3的特性
所有的元數據全部都內存化
清理磁盤空洞
容量和負載的均衡策略
平滑的擴容
數據安全性的冗余保證
幾秒內完成Name Server故障自動切換
容災策略
性能大幅提升
繼續閱讀
關鍵詞 :
TFS
中國存儲網聲明:此文觀點不代表本站立場,如有版權疑問請聯系我們。
相關閱讀
產品推薦
頭條閱讀
欄目熱點

Copyright @ 2006-2019 ChinaStor.COM 版權所有 京ICP備14047533號

中國存儲網

存儲第一站,存儲門戶,存儲在線交流平臺

湖北十一选五任选五