データ管理について
研究で生じるデータ管理についてまとめる。
揮発防止・作業保全の観点で常々Google Driveと同期する。一方、「常々同期したままのもの」と、適宜「事後に共有ドライブに最終版移すもの」に分けて管理する。
大まかには以下の流れ:
- Google Workspaceの設定
- パソコン版Google Driveの導入
- バックアップの設定
- 確認作業
1. Google Workspaceの設定
以下を参照して大学で購入しているGoogle Workspaceに登録する。
参照先:ECCSクラウドメール (Google Workspace)
- 登録してから使用可能になるまでに若干ラグがある
- パスワードの再設定が年に一回程度のペースで求められるので注意
2. パソコン版Google DriveのDL・インストール
Google Workspaceを使ってデータを自動でバックアップする。
以前は二種類あったが、2021年8月現在はパソコン版Google Driveに統一されたので、パソコン版Google Driveを使用する。
適当なサイトを参照してDL・インストール導入する。
3. バックアップの設定
3-1. cacheの移動
Google DriveのGUIからできる (2021/9/22, Nemoto S)。
詳細は gdrive-mount.md を参照のこと。
3-2. 保存用ディレクトリの確認
水野が事前に共有ドライブを大学アカウントに用意している (用意されていない場合には水野に問い合わせ)。
Googleドライブ内の共有ドライブにデータ保存用のディレクトリがあることを確認する (以下、保存用ディレクトリとする)。
ディレクトリ名は、{ラボへの入学年度}_{苗字}{名前の頭文字} という命名規則となっている。
例えば水野の場合は 2008_MizunoT のようになる。
ディレクトリ内は以下のような配置となっている。
2008_MizunoT
├─Conference:学会関連情報
├─Document:学振などの申請書
├─Discussion:ディスカッション資料
├─Notebook:実験内容
├─Publication:論文化用の内容
├─Slide:セミナー資料
└─Survey:サーベイ時の資料
以下のように使い方が違うので注意。
- 常々同期したままのもの
- Discussion
- Notebook
- 事後に共有ドライブに最終版移すもの
- Conference:学会終了時に整理して移動
- Document:学振など申請後に整理して移動
- Publication:論文採択後に整理して移動
- Slide:セミナー終了後に整理して移動
- Survey:サーベイ終了後に整理して移動
3-3. シンボリックリンクによるユーザビリティ向上
共有ドライブ上に保存ディレクトリを作成することで、バックアップが容易になる。しかしGドライブ経由のパスは煩わしい(「共有ドライブ」という日本語が入る点など)。そこで、共有ドライブ上にバックアップデータを蓄積しつつ、それらをDドライブにシンボリックリンクを通し、Dドライブ経由でアクセスできるようにする。因みにDドライブにGドライブのショートカットを作成してもパスはGドライブのままなので、シンボリックリンクである点が肝要。
-
管理者としてコマンドプロンプトを起動し、以下のようにコマンドを叩く。
C:\WINDOWS\system32>mklink /D D:シンボル先 G:共有ドライブ\Year_Name例えば、私の場合は、
C:\WINDOWS\system32>mklink /D D:GdriveSymbol G:共有ドライブ\2020_AzumaIとなり、
D:GdriveSymbol <<===>> G:共有ドライブ\2020_AzumaI のシンボリック リンクが作成されましたのようなメッセージが表示されたら完了。 -
こうすることで、
G:共有ドライブ\2020_AzumaI\notebook\data.txtについてD:GdriveSymbol\notebook\data.txtで参照することが可能になり、Dドライブからパスが取得可能になる。また共有ドライブ先でもシンボリックリンク先でもファイル操作はどちらも反映されるため便利。
- 日々の作業は保存用ディレクトリである
G:共有ドライブ\Year_Name上で行う。上記によりここへのパスによるアクセスが楽になる。 - この逆の操作である、Gドライブ上にDドライブのシンボリックリンクを通す操作はエラーが出力されて現状無理っぽい。
- cacheの移動でデフォルトのCドライブからDドライブに移行しないと容量の制限が厳しくなるので注意。
(2021/01/26 Azuma I)
4. バックアップの確認
- 保存用ディレクトリ内でテキトーにファイルを一つ作成する
- クラウド上のGoogle Driveを開き、自身の名前の共有ドライブ内に作成したファイルが見えるかどうかを確認する
更新情報
- 230607 tadahayamiz