スキップしてメイン コンテンツに移動

簡単なんだけど難しい重複除去

アプリケーションの対応可否を気にせずストレージの圧縮ができ、メリットの多い重複除去は、本当に素晴らしい技術です。

ファイル単位の圧縮と異なり、同じファイルが複数保存されているとき、1つのファイル分の容量しか消費しません。ファイル名は異なるけど、同じデータが存在する場合も同じく、一つ分のデータにまとめられるので、ファイル共有サーバーなどでは非常に大きな効果が期待できます。



ただ、いくつか注意が必要です。

1.非対応のアプリケーションが存在する。

冒頭にアプリケーションの対応可否をきにせずと言っておきながら何言っての?って感じですが、アプリケーションのデータを重複除去するとうまくアクセスできない経験がありました。可否を気にせずというのは、HYPER-Vの仮想ディスク保存領域を重複除去するって意味です。こうすれば、VM内では重複除去を意識しない状態になります。

2.急激な大容量保存や編集には対応できない。

空き領域が十分にあれば問題ないし、リアルタイム重複除去機能を持ったH/Wでは問題ありません。Windows標準の重複除去などは、バックグラウンド処理を行うので、重複除去処理されるまでは、そのままのデータが記録されるため、一時的には無圧縮で保存できる領域が必要です。

3.空き領域と使用領域がよくわからない

重複除去を行ったボリュームは、重複除去処理が動くと空き領域が変化します。
データ量を積み上げていくとディスクの容量を超えていることもあります。
もういっぱいだ~と思っても次の日には余裕があるなんてこともあります。

4.ファイルを削除しても空き領域が増えない

重複除去はファイル単位ではなく、データレベルの重複除去を行っているため、100GBのファイルを削除したとしても、そのうち70GBが重複除去領域に保管されていれば、30GBしか解放されません。では、70GBはいつ解放されるのか?というと、ガベージコレクション処理によって、未使用ということが確認された後に解放されるため、ファイルを消しても、消しても、空き領域が全く増えないと感じます。

上の注意点を理解していれば、ほぼ問題なく運用できます。

でも、空き領域が少なくなった時に、ディスク増設できない場合、非常に苦しむことになります。4で上げた空き領域がすぐに増えない問題です。
しかも、利用者からみると、どのファイルが重複除去されていないのか分からないため、頑張って削除や退避したファイルがほぼ重複除去されていて、一所懸命頑張って作業したのに全く空き領域が増えないってこともよくあります。


設備増強に時間がかかるしコストにうるさいって方は、はっきり言って使わないほうが よい技術かもしれません。
10TBのNASで運用していて、容量が不足したので10TBのNASを買い足すことはなんとかできても、20TBのNASを買うのは絶対に無理って方は、10TBのNASに15TBのデータが保管されていると、10TB追加した直後に空き領域5TBになって、「なんでこんなに増えるの?お前たち無駄遣いしすぎ!!二度と買わないぞ!!」なんて言われかねません。
重複していること前提の圧縮方法なので起こりえるのです。

でもさ、一度この圧縮を見てしまうと、使いたくなってしまうんですよね~

コメント

このブログの人気の投稿

SharePoint アイテム保管ライブラリをのぞいてみよう(2023年1月改訂)

※アカウント移行に失敗し画像を失ったので再度取得し改訂しました。 Office 365 Advent Calendar 2021  の12月16日投稿です。 警告: 個人的な理解に基づく内容、表現です。疑いを持って取り扱ってください。 SharePoint と OneDrive の保持の詳細 - Microsoft 365 Compliance | Microsoft Docs SharePoint Onlineをご利用の方にとっては普通?の機能ですが、SharePoint Server 2010以前から利用している方にとっては2013からの新機能「インプレース保持」で使われる「アイテム保管ライブラリ」をちょっとのぞいてみようという内容です。 Exchangeのインプレース保持とSharePointの保持は違うよ~ Exchange のインプレース保持はごみ箱から消えたメッセージを含むすべてを保持することができるのですが、SharePointでは対象外アイテムが存在しますし、編集についてはバージョン履歴に依存しています。また、情報管理ポリシーの「ごみ箱に移動する」が動作しなくなるなど利用者への影響もありますので注意が必要です。また、保持してることを内緒にしたくてもサイト管理者にはバレバレな点は認識しておかないとね。あとE3相当以上の方はExchangeは容量無制限ですけど、SharePointはしっかりと契約容量に含まれているので上司の方から説明のたびに叱られる可能性がありますね。 SharePointの保持は、Exchangeが連携して利用する大容量添付ファイル送信やTeamsメッセージの添付ファイルを保持する目的のために存在する機能なのかな~という感じがします。SharePointの情報調査や監査という意味では、バックアップ製品などでこまめに世代管理する必要があると感じます。 SharePointで削除されたアイテムは各サイトの「アイテム保管ライブラリ」にコピーされ設定期間保持されます。 各サイトというのがミソですね。しかも、サイト管理者から参照可能な場所に保持されるため、保持について理解のないサイト管理者はこのライブラリのアイテムURLを見ることができないユーザーに渡すなど困った行動を起こす可能性があります。 それでは保持を確認するために保持されるアイテムを準

1000ユーザーの役職情報を削除しなさい

ActiveDirectoryを管理していると、「1,000ユーザーの役職情報を削除しなさい」なんてオーダーが出る可能性はある。 理由は何でもいい。似たような状況に置かれたと考えてほしい。 Q.急いでいるんだけど、いつまでに完了できる? A.ん~~1ユーザー30秒かからないとして500分程度。大体8時間  ちょっと残業すれば今日中に終わると思います。 これ、あなたの答えですか? 先日までは私の答えもこれだったかもしれません。 でも、今の私なら、「それなら30分くらいもらえれば終わります」(余裕) なぜなら私にはPowerShellという武器があるから。 まぁ、以前から便利なのは知ってたんですけどね、使う機会がなくてスクリプトとしては使っていなかったんですよ。やっても「Export-SPWeb」みたいな単発の命令ばっかりで~ じゃぁ、スクリプトっぽくいくよ~ Import-Module ActiveDirectory $users = Get-ADUser -Filter * ForEarch($user in $users) { Set-ADUser -Identity $user -Clear Title } あとはActiveDirectoryを編集できる権限で実行するだけ。 5分で書いて1分実行。 ついでに確認用のコマンドをちょっと打って まぁ、20分は忙しそうなふりして遊びましょうか? 本当に動かすときは、編集対象に問題がないかとか、ちゃんと編集できた確認とか やるべきことは色々あるけど、たった6行・・・ いや、最小限でいよく Import-Module ActiveDirectory Get-ADUser -Filter * | Set-ADUser -Clear Title 2行で終わるかも・・・ つぶしてもいい環境だったらこれでいいよね。 PowerShellの何がすごいかって、 今までの方法だと、サーバーに接続して・・・って言語すらまともに使えないのに~ って感じだったのが、それぞれのコマンドが勝手に必要な手順をこなしてくれるんですよね。 スクリプトやプログラム言語でActiveDirectoryからユーザー一覧を取得する。 これだけでも結構な行数のプログラムを書かなければならなかった?わけなんですが、 Get-ADuser -Filter

あけまして

コロナから始まり、コロナに終わる。 今年は別の話題で終わると良いですね。 モーそろそろアフターコロナになりたいな〜と思います。  今日は何人でした。とかね、なんか昭和最後の年末年始をちょっと思い出す。 なんだかな〜って感じですね。