Data Pipes – okfnlabs.org 紹介シリーズ1

2014年5月19日 in News


okfnlab.org ではオープン・ナレッジの普及に関わる様々なツールを開発しています。本家オープン・ナレッジの共同創設者であるルーファス・ポロックラウラ・ジェームスもエンジニアの一員として参加しています。その開発プロジェクトのいくつかをシリーズで紹介して行く予定です。

Data Pipes とは

CSV形式のファイルを、その格納先、編集方法などとともにURLパラメータとして渡すことで、動的にデータの取得とある程度の編集を行い、結果をhtmlまたはCSVとして出力できるツールです。UNIX 系のpipe のように出力を直接次の入力としてつなぐこともできます。

利用例

以下、室蘭市のむろらんオープンデータライブラリより「ごみ袋等販売店」データ(Creative Commons 表示 2.1 日本 License)を元に文字コードをutf8に変換した上で利用させて頂きました。

元データ(CSV)

http://datapipes.okfnlabs.org/csv/?url=https://dl.dropboxusercontent.com/u/201898/gomifukuro_20130826.csv

htmlで表として表現

全体

http://datapipes.okfnlabs.org/csv/html/?url=https://dl.dropboxusercontent.com/u/201898/gomifukuro_20130826.csv

先頭6件

http://datapipes.okfnlabs.org/csv/head 6/html/?url=https://dl.dropboxusercontent.com/u/201898/gomifukuro_20130826.csv

行の削除(5~6行)

http://datapipes.okfnlabs.org/csv/head 6/delete 5:6/html/?url=https://dl.dropboxusercontent.com/u/201898/gomifukuro_20130826.csv

不要カラムの削除

http://datapipes.okfnlabs.org/csv/head 6/delete 5:6/cut 0,3,4,7:9/html/?url=https://dl.dropboxusercontent.com/u/201898/gomifukuro_20130826.csv

文字列検索(港南町)

http://datapipes.okfnlabs.org/csv/head 6/delete 5:6/cut 0,3,4,7:9/grep -i 港南町/html/?url=https://dl.dropboxusercontent.com/u/201898/gomifukuro_20130826.csv

考えられる用途

  • アイデアソンやハッカソンでの成果発表用に。
  • CKANなどのデータポータルと連携したデータ内容の確認用に。
  • ブログ記事などに表を埋め込みたい場合に。
  • CSV(データ)側の追加、更新を自動反映させたい場合に。
  • その他いろいろ。

注意事項

文字コードがsjisのデータはそのまま使うと文字化けしてしまいます。いったんutf8に変換してお使いください。
データ置き場とツールの実行環境(oknf.org)に負荷を掛ける場合があるので、重たい処理を繰り返し行う場合にはこれらを自前で用意した方が良いでしょう。

詳細情報

Data Pipes プロジェクトページ

コントリビュート/フォーク

現状サポートされている形式はCSVのみですが、JSON、プレーンテキスト、RSSなどへの対応も計画されています。
それ以外にも文字コード変換機能や入力元をGoogle driveのスプレッドシートにするなど、いろいろな改良が出来そうです。腕に覚えのある方は開発に参加してみませんか。もちろん、ライセンスに従う限りフォークして自分用の改造をするのも自由です。

Leave a reply

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

次のHTML タグと属性が使えます: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>

okfj

Written by