LFMコンソーシアム
日本発のLFM技術の普及を目指して活動開始
〜LFM技術により実現化した大容量データの超高速処理〜
インターネットに代表するネット社会とかデジタル情報化社会といった言葉が世の中に定着して久しいが、このことはデジタル化された情報（データ）が日々増殖し続けていることでもある。データがあまりにも氾濫しすぎる時代にあっては、大容量のデータの中から必要とするデータを検索したり、または集計やソートなどを行うことで、はじめて有用な情報が得られることになる。しかし、そこに到達するために膨大なシステム投資を行ったり、集計などの分析結果を得るために長い時間がかかるようでは、ユーザーはデジタル化時代の利便性を享受できない。
今回は、このような問題を解決すべくLFM(Linear Filtering Method 成分分解法)技術を開発し、この技術の普及のためにLFMコンソーシアムという非営利団体を09年7月1日に立ち上げた同コンソーシアムの古庄会長にヒアリングした。LFM技術とは、「データベースシステムや表計算に蓄えられたデータを位置の情報・値の情報に分解し、分解された情報を操作するアルゴリズムによりデータベース処理（ジョイン、データ変換・更新、検索、集計など）を実行する」というものである。この技術の確立によって、従来のそれを圧倒する超高速での処理が実現化した。技術論に関しては、同会長の著書「汎用超高速データベース処理技術」（注：09年8月1日現在、LFMコンソーシアムへの会員登録先着50名に贈呈）を参照頂き、以下では、LFMコンソーシアムの活動方針などにフォーカスしてまとめた。なお、以下の内容は09年7月9日に実施した取材をもとにしたものである。
【団体概要】
| 団体名 | LFMコンソーシアム |
| 所在地 | 横浜市神奈川区 |
| 代表者名 | 古庄 晋二 会長 |
| 事業概要 | “日本発”インメモリ超高速データ処理 LFM（Linear Filtering Method）技術を広く普及させる目的で活動を行う非営利団体 |
| URL | http://www.lfm-consortium.org/ |
注：�‥�団体は09年8月現在、特定非営利活動法人（ＮＰＯ法人）の認可に向けて準備中。
�△�問い合わせ先はＬＦＭコンソーシアムの事務局（株式会社ターボデータラボラトリー内）まで。
（１）コンソーシアムではLFM技術の普及と標準化を図る
Question 1：
ＬＦＭコンソーシアムの設立の背景についてまず、お聞かせください。
LFM技術は株式会社富士通ビー・エス・シー様が「Oh-Pa 1/3(オーパワンサード)」、日本電気株式会社様が「InfoFrame DataBooster(インフォフレーム データブースター)」の各製品に採用されています。こうした企業様から、エンドユーザーに製品が販売されることでLFM技術を活用しているユーザーは着実に広がっています。ただ、普及するテンポは緩やかであり、国・地域や企業の大小などを問わずもっと幅広く様々な方々にLFM技術の良さを認知してもらうとともに活用してもらいたいという思いが日ごと膨らんできました。
その方策として考えたのが各企業のエンジニアやボランティアの力を結集することです。参考にしたのはオープンなコミュニティの成功例、例えばLinuxです。OSのように沢山の人が使うソフトウェアに対しては、必ずそれに関わり新しいアイデアを実現したいと思う技術者が沢山いるのです。ところが過去にはその開発が一社に独占され、技術者達は良いアイデアを考えてもOSに反映することができませんでした。この状況を打破したのがUNIX互換の基本ソフトであるLinuxです。オープンソースにすることで、全世界の優秀な技術者達の開発への参加を可能にし、技術者達が新しいアイデアを自由に実現するパスを作ったのです。このようにしてできたLinuxは、当然、新しいアイデアを実現する基盤としてはWindowsよりも優れています。ですからGoogleやアマゾンなどのクラウドコンピューティングの基盤になっているOSはLinuxなのです。
話を元に戻しますが、オープンなコミュニティは一企業の枠を超えた力を発揮することが可能ということに留意して欲しいのです。LFM技術の普及もオープンかつ非営利な団体であるLFMコンソーシアムによって可能になるだろうと思ったのです。
（２）活動は３つが柱
Question 2：
ＬＦＭコンソーシアムはどのような活動を行うのですか？
コンソーシアムの主な活動は、「図書館としての機能」、「コミュニティの運営」、「開発プロジェクト」の３つがあります。
【 図書館としての機能 】
現在最も注力しているのが、図書館としての機能です。一般の図書館を想像してもらうとわかりやすいのですが、読者が読みたい蔵書が多いほど、その図書館はポピュラーになります。当コンソーシアムも同じで、ユーザーの興味を惹くコンテンツやプログラムが豊富なほどコンソーシアムへのアクセスが多くなります。キーポイントはLFM技術でしか活用できないようなデータが沢山存在するということです。このようなデータはLFM技術にとってキラーアプリケーションと同じです。LFM コンソーシアムの重要な活動の一つはキラーアプリケーションであるデータを揃えて行くことです。
今、一例として気象データを考えてみます。例えば多店舗展開を行うチェーン店は、どういった店舗や地域でどういう商品が売れているのかを分析しなければなりません。しかし、売れ筋は様々な要因で変わって行きます。それはインフルエンザの流行、イベントや流行という要因、それから気候の要因もあります。定性的にはインフルエンザとマスクの関係など推理で分かるものは多いですが、商品をいくら仕入れればよいかという定量的な把握をするには実際にデータとつきあわせる必要があります。例えば、雨の日はこの商品がこのくらい売れる、真夏日にはこの商品の売り上げがn%増える、などです。
では、このような分析を実行する上で最大のボトルネックは何なのでしょうか。データが手に入らないことでしょうか？インターネット時代の今日ではそんなことはありません。気象データは気象庁から、株価データは証券会社から、ちゃんと手に入ります。ちょっと驚くことですが、ボトルネックはIT技術にあったのです。
古庄 会長
|
これまでのIT技術では、気象データを使うなら予め気象データを分析するためのプログラムかルーチンが必要でした。（もちろん、目視でデータを確認できる少量のデータに対しては対話型でデータ処理を行う表計算ソフトがありますが、大量データでは無理でした。） 考えてみてください、分析は人間の思考とコンピュータの対話の中で成立するもの。予めプログラムかルーチンを用意しなければならないならば対話は成り立たず、対話が成り立たないなら人間の思考を自由に羽ばたかせる分析はできなかったのです。 LFM技術はこの状況を一気に変えました。たとえば気象データという新しいデータが追加で入手できれば、ジョイン・集計などを瞬時に済ませて分析ができるのです。必要なのはデータをダウンロードするだけ。 |
また、ユーザーは取り揃えたデータをもとに自由な発想でカテゴライズしたり、他のデータとの比較分析など、私達の考えの及ばないLFM技術の活用方法を考えつくものです。LFM コンソーシアムはそれらの活用方法、すなわちプログラムもデータ同様、収録して行きます。
【 コミュニティの運営と標準化の推進 】
LFM技術を用いたエンジン（以下、LFMエンジン）は、現在のところターボデータラボラトリー社と先ほど申し上げた富士通BSC社、NEC社から供給されています。将来はさらに多くの会社から供給されるようになると思います。
この状況で予想される大問題は、各社が各様のエンジンを作りユーザーの利便性を大きく損なってしまうことです。ユーザーの願いは、どの会社のエンジンで作られたデータファイルでも自分の持っているエンジンで自由に利用できること、どのアプリケーションでも自分の持っているエンジン上で実行できることです。しかし、各社が各様のLFMエンジンを作れば、これとは正反対に、A社のエンジンで作られたデータファイルがB社のエンジンにはロードできないし、各アプリケーションはいずれかのエンジンでしか実行できません。
このような問題を解決するのは標準化です。標準が定められていれば、どこかの会社のエンジンを持っていれば、全てのデータファイルが使え、どのアプリケーションも動かせます。
では、標準化は誰がどうやって進めて行けばよいのでしょうか？標準化を正しく進めるのに重要なことは「現実のニーズ」を把握し乖離しないことですが、その「現実のニーズ」はエンドユーザーやエンジニアから寄せられた様々なアイデアが議論され、整理されることで明確化されます。LFM コンソーシアムは、アイデアが寄せられ、議論され、整理される場であるコミュニティを運営し、その活動を通じて標準化を推進して行きます。
【 開発プロジェクト 】
LFM技術の普及に向けて必要なのはLFMエンジンだけではありません。アプリケーション、特にグラフィカルユーザインターフェイス（GUI）は極めて重要です。将来は各社の開発した多様なGUIが競い合うことになると思いますが、まず最初にオープンソースで、付加機能の開発が自由にでき、シンプルで分かりやすく、エンジンの性能をストレートに引き出すことができるGUIが必要です。
このGUIの開発プロジェクトでは、２種のGUIの開発を進めて行きます。
１つは「WEB GUIdeLFM開発プロジェクト」というもので、Webサーバ上にあるLFMエンジンに、PCクライアントからアクセスできるようにするものです。
もう１つは「スタンドアローンGUIdeLFM開発プロジェクト」というもので、１台のPC上で大規模なデータと対話形でデータベース処理を行えるものです。
LFM コンソーシアムはLFMエンジン供給会社のターボデータラボラトリーとこの開発契約を結び、まずはターボデータラボラトリー社からこのGUIの提供を受けます。その後、会員の皆さんの協力を得ながらこれを発展させて行くつもりです。その際には開発経過の開示によって様々な方々からの意見などを汲み取っていきます。こうしたユーザーニーズを反映した開発は、LFM技術の普及に大きく貢献するでしょう。
こうしたことができるのは非営利団体であるコンソーシアムならではだと思います。この開発プロジェクトが完了した暁には、今までとは数段、LFM技術の使い勝手が向上しますので、技術の普及促進に拍車がかかると期待しています。
Question 3：
今後、どのようなデータを収集していく方針ですか？
コンソーシアムの会員の方々の声を反映したものを取り込んでいくという考えもありますが、コンソーシアムが設立して間もない現状を鑑みると、まずはコンソーシアムの運営者自らがある程度的を絞って、情報収集する方針です。また、LFM技術に役立ちそうなデータという切り口を加味すると気象情報、株価・為替といった金融情報、スポーツ関係などが現時点では候補に挙げられます。特に、競馬を含むスポーツ関係の既存ソフトには素晴らしい分析機能がありますが、ここでも出来合いの分析しかできないという制約があります。LFM技術を活用することで、今までにない斬新な分析が行えるものと期待しています。
Question 4：
ところで、どのような手順を踏めばコンソーシアムの会員になれるのでしょうか？
「コンソーシアム紹介」のページに掲載している「目的と趣旨」に賛同頂き、「規約」に記載の所定の入会申込書を事務局に提出し、理事会の承認が得られれば、誰でも会員になれます。ちなみに、会員には法人会員（年会費10,000円）、個人会員（同1,000円）の２つがあります。
会員になりますと、「コミュニティ」というページを設けていますが、ここに投稿ができます。会員の成功事例の発表やフォーラムなどで意見を述べることができる場を提供しています。
Question 5：
会員はコンソーシアムとどのような関わり方をしているのですか？
代表的な例を２つ挙げますと、１つ目はターボデータラボラトリー社がエンジンの提供を行っています。同社は主に、1千万行から億行単位の大規模データを高速に処理できるエンジンの開発・販売を行っていますが、その中の製品の１つであるスタンドアローンPC向けの「Aktblitz�供廖淵▲�トブリッツ�供砲鯡欺�で提供しています。ただし、LFMエンジンは処理できる対象範囲が10万行までに限定されたものです。LFM コンソーシアムとしては、今後、この限定がより緩いものになることを望んでいます。これらは、コンソーシアムの「エンジン等ダウンロード」のページにおいて、ダウンロードができるようになっています。
2つ目が株式会社シイズ様からの提供です。メニュー「プログラム」の「C61−マクロ」にアクセスしますと、「ZIP：LFM技術を学ぶための80の練習問題」というプログラムを提供しています。これは大変好評です。80問にも及ぶ問い、それを実際解くための生データの提供、さらには解答を提供しています。LFM技術を習得するための演習問題としては充実した内容になっています。
Question 6：
3つの活動を伺っていると、図書館機能充実は多くの開発者等を惹きつけ、コミュニティで会員の要望やエンドユーザーの目線に立ったＬＦＭ技術の使い方などを吸い上げ、こうしたニーズを開発プロジェクトに織り込んでいく、と相互に関連していることが良くわかります。
最後に、ＬＦＭ技術の普及に向けたＬＦＭコンソーシアムは立ち上がったばかりですが、活動が軌道に乗るというか、手応えを確信するのはいつ頃をお考えですか？
そうですね、年内にはある程度手応えを感じてくると見込んでいます。今はとりあえず日本関連のデータの収集に注力していきますが、３つの活動が軌道に乗ってくれば、この展開は地域を問いませんので海外においてもLFM技術が普及するような活動も行っていきたいです。
ＬＦＭ技術が内外を問わず普及していくことを期待しております。今日は有難うございました。