淺談重復(fù)數(shù)據(jù)刪除技術(shù)的前景

否則數(shù)據(jù)塊不會(huì)變化。如果變化的內(nèi)容發(fā)生在滑動(dòng)窗口內(nèi)，可能會(huì)破壞分界數(shù)據(jù)塊，導(dǎo)致兩個(gè)數(shù)據(jù)塊合成一個(gè)數(shù)據(jù)塊，或者兩個(gè)數(shù)據(jù)塊之間的邊界發(fā)生變化，產(chǎn)生新的數(shù)據(jù)塊。因此，插入或者刪除內(nèi)容只影響相鄰的一個(gè)或者兩個(gè)數(shù)據(jù)塊，其余數(shù)據(jù)塊不會(huì)受影響，這就使得該方法能夠檢測(cè)出對(duì)象之間更多的重復(fù)數(shù)據(jù)。如圖5所示，當(dāng)文件中插入部分內(nèi)容后，分塊時(shí)將該內(nèi)容劃分到一個(gè)數(shù)據(jù)塊中，保持其后續(xù)的數(shù)據(jù)塊不變，從而保證后面重復(fù)的數(shù)據(jù)塊都能夠被刪除。 該方法的典型應(yīng)用包括：shark[6]、deep store[7]和低帶寬網(wǎng)絡(luò)系統(tǒng)lbfs。 在lbfs系統(tǒng)中，系統(tǒng)對(duì)分塊長度加上了上下邊界長度，以避免數(shù)據(jù)塊太長和太短的現(xiàn)象。 2.4 基于滑動(dòng)塊的重復(fù)數(shù)據(jù)刪除技術(shù) 內(nèi)容劃分塊方法解決了字節(jié)插入和刪除的問題，但是引入了變長塊的存儲(chǔ)問題。在存儲(chǔ)系統(tǒng)中，邊長塊的存儲(chǔ)組織比較復(fù)雜。針對(duì)該問題，出現(xiàn)了基于滑動(dòng)塊重復(fù)數(shù)據(jù)刪除檢測(cè)消除方法[8]。該方法如圖6所示，解決了定長塊和內(nèi)容劃分塊所存在的問題。 滑動(dòng)塊方法采用了rsync checksum算法和滑動(dòng)窗口方法進(jìn)行分塊。rsync checksum算法具有計(jì)算速度快、效率高的