Datuen desbikoizpena biltegiratze-ahalmena optimizatzen duen biltegiratze-teknologia ezagun eta ezaguna da. Datu erredundanteak ezabatzen ditu datu-multzotik bikoiztutako datuak kenduz, kopia bakarra utziz. Beheko irudian erakusten den moduan. Teknologia honek biltegiratze fisikoaren beharra asko murrizten du. Datuak biltegiratzeko gero eta eskariari erantzuteko espazioa. Dedupe teknologiak onura praktiko asko ekar ditzake, batez ere alderdi hauek barne:
| (1) | Bete ROI (Inbertsioaren itzulera)/TCO (Jabetzaren kostu osoa) baldintzak; |
| (2) | Datuen hazkunde azkarra modu eraginkorrean kontrola daiteke; |
| (3) | Biltegiratze-espazio eraginkorra handitu eta biltegiratze-eraginkortasuna hobetu; |
| (4) | Gorde biltegiratze kostu osoa eta kudeaketa kostua; |
| (5) | Gorde datu-transmisioaren sareko banda zabalera; |
| (6) | Aurreztu funtzionamendu- eta mantentze-kostuak, hala nola espazioa, elikadura-hornidura eta hoztea. |
Dedupe teknologia oso erabilia da datuen babeskopia eta artxibatze sistemetan, datu bikoiztu asko daudelako datuen babeskopia anitzen ondoren, eta hori oso egokia da teknologia honetarako.Izan ere, dedupe teknologia egoera askotan erabil daiteke, sareko datuak barne, gertuko datuak eta lineaz kanpoko datuak biltegiratzeko sistemak. Fitxategi-sistemetan, bolumen-kudeatzaileetan, NAS-etan eta sans.Dedupe ere erabil daiteke datuen hondamendiak berreskuratzeko, datuen transmisiorako eta sinkronizaziorako, datuen konpresio-teknologia erabil baitaiteke datuak biltzeko. Dedupe teknologiak aplikazio asko murrizten lagun dezake. datuak biltegiratzea, sareko banda-zabalera aurreztu, biltegiratze-eraginkortasuna hobetu, babeskopien leihoa murriztu eta kostuak aurreztu.
Desduplikatzeak bi dimentsio nagusi ditu: desduplikazio-ratioak eta errendimendua. Desduplikatzearen errendimendua inplementazio-teknologiaren araberakoa da, eta desduplicazio-tasa, berriz, datuen beraren ezaugarriek eta aplikazio-ereduek zehazten dute, beheko taulan erakusten den moduan. 20:1etik 500:1era.
| Desduplicazio tasa altua | Desduplicazio-tasa baxua |
| Erabiltzaileak sortutako datuak | Mundu naturalaren datuak |
| Datuen aldaketa-tasa baxua | Datuen aldaketa-tasa altua |
| Erreferentzia datuak, datu inaktiboak | Datu aktiboak |
| Datuen aldaketa-tasa baxuko aplikazioa | Datuen aldaketa tasa handiko aplikazioa |
| Datuen babeskopia osoa | Datuen babeskopia gehigarria |
| Datuak epe luzerako biltegiratzea | Datuak epe laburreko biltegiratzea |
| Datuen aplikazio sorta zabala | Datuen aplikazio sorta txikia |
| Datuen negozioaren etengabeko tratamendua | Datuen negozioaren tratamendu orokorra |
| Datuen segmentazio txikia | Big data segmentazioa |
| Datuen segmentazioa luzatzea | Luzera finkoko datuen segmentazioa |
| Datuen edukia hautematen da | Datuen edukia ezezaguna |
| Denbora-datuen desduplicazioa | Datu espazialen desduplicazioa |
Inplementazio-puntuak kendu
Hainbat faktore kontuan hartu behar dira Dedupe teknologia garatzen edo aplikatzean, faktore horiek zuzenean eragiten baitute haren errendimenduan eta eraginkortasunean.
| (1) | Zer | Zein datu desponderatu dira? |
| (2) | Noiz | Noiz kenduko da pisua? |
| (3) | Non | Non dago pisua kentzea? |
| (4) | Nola | Nola murriztu pisua? |
Dedupe Key Teknologia
Oro har, biltegiratze-sistemaren deduplicazio-prozesua hau da: lehenik eta behin datu-fitxategia datu-multzo batean banatzen da, datu-bloke bakoitzeko hatz-marka kalkulatzeko, eta, ondoren, hatz-markaren Hash bilaketa gako-hitzetan oinarrituta, bat etortzeak bikoiztutako datuak adierazten ditu. datu-blokeak, datu-blokeen indize-zenbakia soilik gordetzen du, bestela esan nahi du datu-blokea datu-bloke berri baten zati bakarra dela eta meta-informazio garrantzitsua sortzen du. Horrela, biltegiratze-sistemako fitxategi fisiko bat baten irudikapen logiko bati dagokio. FP metadatuen multzoa. Fitxategia irakurtzean, lehenik fitxategi logikoa irakurri, gero FP sekuentziaren arabera, atera dagokion datu-blokea biltegiratze sistematik, fitxategi fisikoaren kopia berreskuratu. Goiko prozesutik ikus daiteke. Dedupe-ren gako teknologiak fitxategien datu-blokeen segmentazioa, datu-blokeen hatz-marken kalkulua eta datu-blokea berreskuratzea barne hartzen ditu.
(1) Fitxategien datu-blokeen segmentazioa
(2) Datu-blokearen hatz-marken kalkulua
(3) Datu-blokea berreskuratzea
Sareko paketeen desduplicazioa abiarazteko gomendio-eredu hauek aurkitzeko:
Mylinking™ Network Packet Broker (NPB) ML-NPB-640048*10GE SFP+ gehi 4*40GE/100GE QSFP28, 880Gbps gehienez
Mylinking™ Network Packet Broker (NPB) ML-NPB-56606*40GE/100GE QSFP28 gehi 48*10GE/25GE SFP28, gehienez 1,8 Tbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-506048*10GE SFP+ gehi 2*40GE QSFP, 560Gbps gehienez
Mylinking™ Network Packet Broker (NPB) ML-NPB-486048*10GE SFP+, 480Gbps gehienez, Function Plus
Mylinking™ Network Packet Broker (NPB) ML-NPB-481048*10GE SFP+, 480 Gbps gehienez
Mylinking™ Network Packet Broker (NPB) ML-NPB-2410P24*10GE SFP+, 240Gbps gehienez, DPI funtzioa
Mylinking™ Network Packet Broker (NPB) ML-NPB-6400
48*10GE SFP+ gehi 4*40GE/100GE QSFP28, 880Gbps gehienez
Argitalpenaren ordua: 2022-10-18
