CGFT大數(shù)據(jù)，數(shù)據(jù)存取策略主要包含什么？

在學習CGFT大數(shù)據(jù)時，數(shù)據(jù)存儲策略主要包含哪些內(nèi)容是很重要的。下文是對它的詳細介紹，一起了解一下！

數(shù)據(jù)存儲策略包括數(shù)據(jù)存放、數(shù)據(jù)讀取和數(shù)據(jù)復制等方面，它在很大程度上會影響到整個分布式文件系統(tǒng)的讀寫性能，是分布式文件系統(tǒng)的核心內(nèi)容。

1、數(shù)據(jù)存放

為了提高數(shù)據(jù)的可靠性與系統(tǒng)的可用性，以及充分利用網(wǎng)絡寬帶，HDFS采用了以機架為基礎的數(shù)據(jù)存放策略。

2、數(shù)據(jù)讀取

HDFS提供了一個API可以確定一個數(shù)據(jù)節(jié)點所屬的機架ID，客戶端也可以調(diào)用API獲取自己所屬的機架ID。


特許全球金融科技師CGFT一級

當客戶端讀取數(shù)據(jù)時，從名稱節(jié)點獲得數(shù)據(jù)塊不同副本的存放位置列表，列表中包含了副本所在的數(shù)據(jù)節(jié)點，可以調(diào)用API來確定客戶端和這些數(shù)據(jù)節(jié)點所屬的機架ID，當發(fā)現(xiàn)某個數(shù)據(jù)塊副本對應的機架ID和客戶端對應的機架ID相同時，就優(yōu)先選擇該副本讀取數(shù)據(jù)，如果沒有發(fā)現(xiàn)，就隨機選擇一個副本讀取數(shù)據(jù)。


3、數(shù)據(jù)復制

HDFS的數(shù)據(jù)復制采用了流水線復制的策略，大大提高了數(shù)據(jù)復制過程的效率。當客戶端要往HDFS中寫入一個文件時，這個文件會首先被寫入本地，并被切分成若干個塊，每個塊的大小是由HDFS的設定值來決定的。

每個塊都向HDFS集群中的名稱節(jié)點發(fā)起寫請求，名稱節(jié)點會根據(jù)系統(tǒng)中各個數(shù)據(jù)節(jié)點的使用情況，選擇一個數(shù)據(jù)節(jié)點列表返回給客戶端。