Tech Talk Blog

MogileFS::Client で利用できる機能

MogileFS::Client モジュールが Perl の Client API ライブラリです。PHP や Java を利用した Client API ライブラリもあるようですが、配布物に含まれているのは Perl の API のみです。

現在の最新バージョン（revesion 421）では以下のメソッドが利用可能です。

サンプル：新規作成して、読み込んで表示。

#!/usr/bin/perl
use strict;
use warnings;
 
use MogileFS::Client;
 
## MogileFS インスタンス作成
my $mogfs = MogileFS::Client->new(
    domain => 'sixapart',
    hosts  => [ '127.0.0.1:7001' ],
);
die "Unable to initialize MogileFS object."
    unless $mogfs;
 
## key 名 "hello" のファイルを normal クラス（mindevcount=2）で新規ファイル作成
my $fh = $mogfs->new_file("hello", "normal")
    or die $mogfs->errstr;
 
## 書き込み
$fh->print("Hello, MogileFS!!")
    or die $mogfs->errstr;
 
## 閉じる
$fh->close
    or die $mogfs->errstr;
 
## key 名 hello のファイルを読み込んで表示
my $data = $mogfs->get_file_data("hello");
die $mogfs->errstr unless $data;
print $$data . "\n";

MogileFS 内部でのファイルノード管理

上記のサンプルを実行した場合を例に、MogileFS 内部でのファイルのノード管理を少し追いかけてみたいと思います。

% perl hello.pl
Hello, MogileFS!!
% ls /var/mogdata/**/*.fid
/var/mogdata/dev1/0/000/000/0000000012.fid
/var/mogdata/dev2/0/000/000/0000000012.fid

MogileFS 内部で管理されている VFS 上のファイルの拡張子は .fid です。今回は前回の初期設定時に作成した、mindevcount = 2 の normal class を指定したので dev1, dev2, 2つの device にコピーされています。コピーされる device は使用可能なもの (status = alive) の中からランダム選ばれます。

ここで、データベースの中を少しのぞいてみます。

% mysql -u mogile -p mogilefs
 
mogilefs> select * from file;
 +-----+------+-------+--------+---------+----------+
 | fid | dmid | dkey  | length | classid | devcount |
 +-----+------+-------+--------+---------+----------+
 |  12 |    1 | hello |     17 |       1 |        2 |
 +-----+------+-------+--------+---------+----------+
1 row in set (0.00 sec)
 
mogilefs> select * from file_on;
 +-----+-------+
 | fid | devid |
 +-----+-------+
 |  12 |     1 |
 |  12 |     2 |
 +-----+-------+
2 rows in set (0.00 sec)

MogileFS ではファイルを fid と呼ばれる id で管理し、file テーブルでファイルの key, class を保存しています。また、file_on テーブルではファイルがどの device にコピーされているかが管理されています。

これらと、device、host の情報をあわせ、ファイルの URL を組み立て操作します。

1. key から fid を取得（file テーブル）→ /0/000/000/0000000012.fid が決定する
2. fid から device id を取得（file_on テーブル）→ /dev1, /dev2 が決定する
3. device id から host id を取得（device テーブル）
4. host id から host 情報を取得 (host テーブル) → http://localhost:7500 が決定する

以上から、"hello" の実体を指し示す最終的な URL、

• http://localhost:7500/dev1/0/000/000/0000000012.fid
• http://localhost:7500/dev2/0/000/000/0000000012.fid

が出来上がります（get_paths() で取得できる URL もこれです）。

mogtool

コマンドラインから MogileFS にファイルを出し入れするには、utilties に含まれている mogtool というコマンドが利用できます。ただ、単純にファイルの出し入れをするだけでなく、

• gzip で圧縮してファイルを保存
• 大きなファイルを分割して保存
• MD5 チェックサムでファイルの検証
• ファイルに簡単な説明を付け加えて保存
• ファイルを保存しつつ指定メールアドレスに詳細を連絡

など、いろいろな機能もついていたりして、とても便利なツールになっています。

オプションの詳細については man mogtool で確認できますので参照してください。

もうすこしだけ続きます...

今回紹介したサンプルでは、get_file_data() でファイルを取得し出力するという内容でしたが、Web アプリでの利用を考えた場合、このような使い方をするのはあまり効率がよいとはいえません。次回はその辺の構成などについて、Apache2::Mogile::Dispatch や Perlbal を使う例を紹介したいと思います。