Qudo-2010

YAPC::Asia 2010

2010/10/15

Agenda

• Self Introduction
• What is Qudo (Review)
• Change Points
• Ohter Distribution
• Conclusion

Self Introduction

Self Introduction

• 名前：星野　将（ホシノ　マサル）

Self Introduction

• 名前：星野　将（ホシノ　マサル）
• id ：masartz（マサルツ）

Self Introduction

• 名前：星野　将（ホシノ　マサル）
• id ：masartz（マサルツ）
• 所属：yusukebeさんに「おもしろい」と言ってもらえないSNSの会社

Self Introduction

• 名前：星野　将（ホシノ　マサル）
• id ：masartz（マサルツ）
• 所属：yusukebeさんに「おもしろい」と言ってもらえないSNSの会社
• フェイスブックよりおもしろいですよ！

Self Introduction

• 名前：星野　将（ホシノ　マサル）
• id ：masartz（マサルツ）
• 所属：yusukebeさんに「おもしろい」と言ってもらえないSNSの会社
• フェイスブックよりおもしろいですよ！
• Qudoの開発者の中ではおそらく唯一プロダクトを実運用してない・・・

What is Qudo (Review)

What is Qudo (Review)

• データストアにRDBMSを用いた非同期処理システム

What is Qudo (Review)

• データストアにRDBMSを用いた非同期処理システム
• 元ネタはTheSchwartz

What is Qudo (Review)

• データストアにRDBMSを用いた非同期処理システム
• 元ネタはTheSchwartz
• 問題と思ったのは
• 拡張性
• エラーハンドリング
• モジュール構成

What is Qudo (Review)

• データストアにRDBMSを用いた非同期処理システム
• 元ネタはTheSchwartz
• 問題と思ったのは
• 拡張性
• エラーハンドリング
• モジュール構成
• あとtypo...「 T h e S c h w a r t z 」

What is Qudo (Review)

• データストアにRDBMSを用いた非同期処理システム
• 元ネタはTheSchwartz
• 問題と思ったのは
• 拡張性
• エラーハンドリング
• モジュール構成
• あとtypo...「 T h e S c h w a r t z 」
• これらの点を工夫しつつ作ってみた

Change Points

Change Points

• YAPC::Asia 2009での発表時との比較

Change Points

• YAPC::Asia 2009での発表時との比較

• CPAN未登録

Change Points

• YAPC::Asia 2009での発表時との比較

• CPAN未登録
• -> UPしました http://search.cpan.org/~nekokak/Qudo-0.0212/

Change Points

• YAPC::Asia 2009での発表時との比較

• CPAN未登録
• -> UPしました http://search.cpan.org/~nekokak/Qudo-0.0212/
• 導入実績1社1案件

Change Points

• YAPC::Asia 2009での発表時との比較

• CPAN未登録
• -> UPしました http://search.cpan.org/~nekokak/Qudo-0.0212/
• 導入実績1社1案件
• -> 2,3社で15案件程度

Change Points

• YAPC::Asia 2009での発表時との比較

• CPAN未登録
• -> UPしました http://search.cpan.org/~nekokak/Qudo-0.0212/
• 導入実績1社1案件
• -> 2,3社で15案件程度
• 開発のコラボレーター1人

Change Points

• YAPC::Asia 2009での発表時との比較

• CPAN未登録
• -> UPしました http://search.cpan.org/~nekokak/Qudo-0.0212/
• 導入実績1社1案件
• -> 2,3社で15案件程度
• 開発のコラボレーター1人
• -> コラボレーター4人 + パッチ提供者

Change Points

• YAPC::Asia 2009での発表時との比較

• CPAN未登録
• -> UPしました http://search.cpan.org/~nekokak/Qudo-0.0212/
• 導入実績1社1案件
• -> 2,3社で15案件程度
• 開発のコラボレーター1人
• -> コラボレーター4人 + パッチ提供者
• 処理規模

Change Points

• YAPC::Asia 2009での発表時との比較

• CPAN未登録
• -> UPしました http://search.cpan.org/~nekokak/Qudo-0.0212/
• 導入実績1社1案件
• -> 2,3社で15案件程度
• 開発のコラボレーター1人
• -> コラボレーター4人 + パッチ提供者
• 処理規模
• 1サーバーで1,000job／日 程度をさばいているなど

Change Points

Change Points

• 複数DBへの接続をサポート

Change Points

• 複数DBへの接続をサポート
• jobにpriority概念を導入

Change Points

• 複数DBへの接続をサポート
• jobにpriority概念を導入
• Worker毎のHook指定機能を除去
• global_register_hook等の廃止

Change Points

• 複数DBへの接続をサポート
• jobにpriority概念を導入
• Worker毎のHook指定機能を除去
• global_register_hook等の廃止
• jobのメソッド追加
• abort
• replace

Change Points

• 複数DBへの接続をサポート
• jobにpriority概念を導入
• Worker毎のHook指定機能を除去
• global_register_hook等の廃止
• jobのメソッド追加
• abort
• replace
• qudoコマンドから初期スキーマのセットアップ

Change Points

• 複数DBへの接続をサポート
• jobにpriority概念を導入
• Worker毎のHook指定機能を除去
• global_register_hook等の廃止
• jobのメソッド追加
• abort
• replace
• qudoコマンドから初期スキーマのセットアップ
• 別プロジェクトへの切り出し

Change Points

• 複数DBへの接続をサポート
• jobにpriority概念を導入
• Worker毎のHook指定機能を除去
• global_register_hook等の廃止
• jobのメソッド追加
• abort
• replace
• qudoコマンドから初期スキーマのセットアップ
• 別プロジェクトへの切り出し
• Qudo::Plugin::*
• Workerの処理内で使える便利メソッドが生える系

Change Points

• 複数DBへの接続をサポート
• jobにpriority概念を導入
• Worker毎のHook指定機能を除去
• global_register_hook等の廃止
• jobのメソッド追加
• abort
• replace
• qudoコマンドから初期スキーマのセットアップ
• 別プロジェクトへの切り出し
• Qudo::Plugin::*
• Workerの処理内で使える便利メソッドが生える系
• Qudo::Hook::*
• どこかのhook pointで実行する系

Ohter Distribution

• Qudo::Plugin::Logger
• Qudo::Hook::Notify
• Qudo::Hook::ForceQuitJob
• Qudo::Parallel::Manager
• Qudo::Parallel::Worker
• Qudo::Driver::DBI
• Qudo-Wiki
• Qudo::Web

Qudo::Plugin::Logger

Qudo::Plugin::Logger

• Plugin系では現時点唯一の別ディストリビューション

Qudo::Plugin::Logger

• Plugin系では現時点唯一の別ディストリビューション
• 内部ではLog::Dispatchを使用

Qudo::Plugin::Logger

• Plugin系では現時点唯一の別ディストリビューション
• 内部ではLog::Dispatchを使用

   $manager->register_plugins(
       +{
           name => 'Qudo::Plugin::Logger',
           option => +{
               dispatchers => ['screen'],
               screen => {
                   class     => 'Log::Dispatch::Screen',
                   min_level => 'debug',
                   stderr    => 0,
               },
           },
       }
   );
   $job->manager->plugin->{logger}->debug('debug message here.');

Qudo::Hook::Notify

Qudo::Hook::Notify

• Jobが正常終了しなかった場合に検知するためのもの

Qudo::Hook::Notify

• Jobが正常終了しなかった場合に検知するためのもの
• Qudo::Hook::Notify::Abort
• Qudo::Jobのmethodで設けている -> 明示的に抜ける

Qudo::Hook::Notify

• Jobが正常終了しなかった場合に検知するためのもの
• Qudo::Hook::Notify::Abort
• Qudo::Jobのmethodで設けている -> 明示的に抜ける
• Qudo::Hook::Notify::Failed
• completedフラグが立たない or 例外発生による失敗

Qudo::Hook::Notify

• Jobが正常終了しなかった場合に検知するためのもの
• Qudo::Hook::Notify::Abort
• Qudo::Jobのmethodで設けている -> 明示的に抜ける
• Qudo::Hook::Notify::Failed
• completedフラグが立たない or 例外発生による失敗
• Qudo::Hook::Notify::ReachMaxRetry
• 各workerのmax_retriesの設定値と比較

Qudo::Hook::Notify

• Jobが正常終了しなかった場合に検知するためのもの
• Qudo::Hook::Notify::Abort
• Qudo::Jobのmethodで設けている -> 明示的に抜ける
• Qudo::Hook::Notify::Failed
• completedフラグが立たない or 例外発生による失敗
• Qudo::Hook::Notify::ReachMaxRetry
• 各workerのmax_retriesの設定値と比較
• Qudo::Plugin::Loggerと合わせて使うのを想定している
• 検知したものをメール送信するなど

Qudo::Hook::ForceQuitJob

Qudo::Hook::ForceQuitJob

• 各workerで設定可能なgrab_forの値を利用する

Qudo::Hook::ForceQuitJob

• 各workerで設定可能なgrab_forの値を利用する
• jobの処理時間がこの値よりかかった場合、処理を中断(=die)する
• grab_forは標準で3600秒
• このHookを設定してもgrab_forが0ならば設定は無効

Qudo::Hook::ForceQuitJob

• 各workerで設定可能なgrab_forの値を利用する
• jobの処理時間がこの値よりかかった場合、処理を中断(=die)する
• grab_forは標準で3600秒
• このHookを設定してもgrab_forが0ならば設定は無効
• 各workerのdie自体はQudo::Workerのevalによって拾われるためExceptionとして管理出来る

Qudo::Hook::ForceQuitJob

• 各workerで設定可能なgrab_forの値を利用する
• jobの処理時間がこの値よりかかった場合、処理を中断(=die)する
• grab_forは標準で3600秒
• このHookを設定してもgrab_forが0ならば設定は無効
• 各workerのdie自体はQudo::Workerのevalによって拾われるためExceptionとして管理出来る
• 未CPAN UP

Qudo::Parallel::Manager

Qudo::Parallel::Manager

• workerのプロセス管理を行える

Qudo::Parallel::Manager

• workerのプロセス管理を行える
• 内部ではParallel::Prefork::SpareWorkersを使用

Qudo::Parallel::Manager

• workerのプロセス管理を行える
• 内部ではParallel::Prefork::SpareWorkersを使用
• スコアボードが見られたりなど

Qudo::Parallel::Manager

• workerのプロセス管理を行える
• 内部ではParallel::Prefork::SpareWorkersを使用
• スコアボードが見られたりなど
• さらにCloudForecastを使えば、グラフ化も可能

Qudo::Parallel::Worker

Qudo::Parallel::Worker

• まだアルファ版レベル

Qudo::Parallel::Worker

• まだアルファ版レベル
• Forkではなく、複数の関連するWorkerを管理するためのWorker

Qudo::Parallel::Worker

• まだアルファ版レベル
• Forkではなく、複数の関連するWorkerを管理するためのWorker
• Jobから複数の子Jobにjobを分割するのはreplace

Qudo::Parallel::Worker

• まだアルファ版レベル
• Forkではなく、複数の関連するWorkerを管理するためのWorker
• Jobから複数の子Jobにjobを分割するのはreplace
• 複数に分割した子jobが全部終了したことを確認して子Jobが全部終了したあとに別のJobを処理させたいはこちら

Qudo::Parallel::Worker

• まだアルファ版レベル
• Forkではなく、複数の関連するWorkerを管理するためのWorker
• Jobから複数の子Jobにjobを分割するのはreplace
• 複数に分割した子jobが全部終了したことを確認して子Jobが全部終了したあとに別のJobを処理させたいはこちら
• 使用実績はまだない

Qudo::Parallel::Worker

• まだアルファ版レベル
• Forkではなく、複数の関連するWorkerを管理するためのWorker
• Jobから複数の子Jobにjobを分割するのはreplace
• 複数に分割した子jobが全部終了したことを確認して子Jobが全部終了したあとに別のJobを処理させたいはこちら
• 使用実績はまだない
• 未CPAN UP

Qudo::Parallel::Worker

• まだアルファ版レベル
• Forkではなく、複数の関連するWorkerを管理するためのWorker
• Jobから複数の子Jobにjobを分割するのはreplace
• 複数に分割した子jobが全部終了したことを確認して子Jobが全部終了したあとに別のJobを処理させたいはこちら
• 使用実績はまだない
• 未CPAN UP
• 今後に期待age

Qudo::Driver::DBI

Qudo::Driver::DBI

• 初期にはQudo本体にパッケージングされていた

Qudo::Driver::DBI

• 初期にはQudo本体にパッケージングされていた
• DBとの接続部分を生のDBIでやりとりする場合に使用

Qudo::Driver::DBI

• 初期にはQudo本体にパッケージングされていた
• DBとの接続部分を生のDBIでやりとりする場合に使用
• メンテの問題とDBIx::Skinnyの台頭もあり別ディストリビューション化

Qudo::Driver::DBI

• 初期にはQudo本体にパッケージングされていた
• DBとの接続部分を生のDBIでやりとりする場合に使用
• メンテの問題とDBIx::Skinnyの台頭もあり別ディストリビューション化
• 現時点では本体に追従出来ている(ハズ)

Qudo::Driver::DBI

• 初期にはQudo本体にパッケージングされていた
• DBとの接続部分を生のDBIでやりとりする場合に使用
• メンテの問題とDBIx::Skinnyの台頭もあり別ディストリビューション化
• 現時点では本体に追従出来ている(ハズ)
• テスト方法の改善は必要

Qudo::Driver::DBI

Qudo::Driver::DBI

• ベンチマーク
• http://github.com/walf443/p5-app-benchmark-job_queue

Qudo::Driver::DBI

• ベンチマーク
• http://github.com/walf443/p5-app-benchmark-job_queue
• http://gist.github.com/479667

                             Rate qudo_skinny the_schwartz qudo_dbi the_schwartz_cached qudo_skinny_cached the_schwartz_simple gearman gearman_xs qudo_dbi_cached gearman_cached the_schwartz_simple_cached
qudo_skinny                 188/s          --         -16%     -46%                -55%               -65%                -72%    -75%       -76%            -86%           -95%                       -96%
the_schwartz                225/s         20%           --     -35%                -46%               -58%                -67%    -70%       -71%            -84%           -93%                       -95%
qudo_dbi                    346/s         84%          54%       --                -16%               -35%                -48%    -54%       -56%            -75%           -90%                       -92%
the_schwartz_cached         413/s        120%          84%      19%                  --               -23%                -38%    -45%       -47%            -70%           -88%                       -90%
qudo_skinny_cached          535/s        184%         138%      55%                 29%                 --                -20%    -29%       -32%            -61%           -84%                       -88%
the_schwartz_simple         671/s        257%         199%      94%                 62%                26%                  --    -11%       -14%            -51%           -81%                       -85%
gearman                     758/s        303%         237%     119%                 83%                42%                 13%      --        -3%            -45%           -78%                       -83%
gearman_xs                  781/s        316%         248%     126%                 89%                46%                 16%      3%         --            -43%           -77%                       -82%
qudo_dbi_cached            1370/s        629%         510%     296%                232%               156%                104%     81%        75%              --           -60%                       -68%
gearman_cached             3448/s       1734%        1434%     897%                734%               545%                414%    355%       341%            152%             --                       -21%
the_schwartz_simple_cached 4348/s       2213%        1835%    1157%                952%               713%                548%    474%       457%            217%            26%                         --

Qudo::Driver::DBI

• ベンチマーク
• http://github.com/walf443/p5-app-benchmark-job_queue
• http://gist.github.com/479667

                             Rate qudo_skinny the_schwartz qudo_dbi the_schwartz_cached qudo_skinny_cached the_schwartz_simple gearman gearman_xs qudo_dbi_cached gearman_cached the_schwartz_simple_cached
qudo_skinny                 188/s          --         -16%     -46%                -55%               -65%                -72%    -75%       -76%            -86%           -95%                       -96%
the_schwartz                225/s         20%           --     -35%                -46%               -58%                -67%    -70%       -71%            -84%           -93%                       -95%
qudo_dbi                    346/s         84%          54%       --                -16%               -35%                -48%    -54%       -56%            -75%           -90%                       -92%
the_schwartz_cached         413/s        120%          84%      19%                  --               -23%                -38%    -45%       -47%            -70%           -88%                       -90%
qudo_skinny_cached          535/s        184%         138%      55%                 29%                 --                -20%    -29%       -32%            -61%           -84%                       -88%
the_schwartz_simple         671/s        257%         199%      94%                 62%                26%                  --    -11%       -14%            -51%           -81%                       -85%
gearman                     758/s        303%         237%     119%                 83%                42%                 13%      --        -3%            -45%           -78%                       -83%
gearman_xs                  781/s        316%         248%     126%                 89%                46%                 16%      3%         --            -43%           -77%                       -82%
qudo_dbi_cached            1370/s        629%         510%     296%                232%               156%                104%     81%        75%              --           -60%                       -68%
gearman_cached             3448/s       1734%        1434%     897%                734%               545%                414%    355%       341%            152%             --                       -21%
the_schwartz_simple_cached 4348/s       2213%        1835%    1157%                952%               713%                548%    474%       457%            217%            26%                         --

• 標準のSkinny版よりちょっとだけ早い

Qudo::Driver::DBI

• ベンチマーク
• http://github.com/walf443/p5-app-benchmark-job_queue
• http://gist.github.com/479667

                             Rate qudo_skinny the_schwartz qudo_dbi the_schwartz_cached qudo_skinny_cached the_schwartz_simple gearman gearman_xs qudo_dbi_cached gearman_cached the_schwartz_simple_cached
qudo_skinny                 188/s          --         -16%     -46%                -55%               -65%                -72%    -75%       -76%            -86%           -95%                       -96%
the_schwartz                225/s         20%           --     -35%                -46%               -58%                -67%    -70%       -71%            -84%           -93%                       -95%
qudo_dbi                    346/s         84%          54%       --                -16%               -35%                -48%    -54%       -56%            -75%           -90%                       -92%
the_schwartz_cached         413/s        120%          84%      19%                  --               -23%                -38%    -45%       -47%            -70%           -88%                       -90%
qudo_skinny_cached          535/s        184%         138%      55%                 29%                 --                -20%    -29%       -32%            -61%           -84%                       -88%
the_schwartz_simple         671/s        257%         199%      94%                 62%                26%                  --    -11%       -14%            -51%           -81%                       -85%
gearman                     758/s        303%         237%     119%                 83%                42%                 13%      --        -3%            -45%           -78%                       -83%
gearman_xs                  781/s        316%         248%     126%                 89%                46%                 16%      3%         --            -43%           -77%                       -82%
qudo_dbi_cached            1370/s        629%         510%     296%                232%               156%                104%     81%        75%              --           -60%                       -68%
gearman_cached             3448/s       1734%        1434%     897%                734%               545%                414%    355%       341%            152%             --                       -21%
the_schwartz_simple_cached 4348/s       2213%        1835%    1157%                952%               713%                548%    474%       457%            217%            26%                         --

• 標準のSkinny版よりちょっとだけ早い
• メンテナは募集中です

Qudo::Driver::DBI

• ベンチマーク
• http://github.com/walf443/p5-app-benchmark-job_queue
• http://gist.github.com/479667

                             Rate qudo_skinny the_schwartz qudo_dbi the_schwartz_cached qudo_skinny_cached the_schwartz_simple gearman gearman_xs qudo_dbi_cached gearman_cached the_schwartz_simple_cached
qudo_skinny                 188/s          --         -16%     -46%                -55%               -65%                -72%    -75%       -76%            -86%           -95%                       -96%
the_schwartz                225/s         20%           --     -35%                -46%               -58%                -67%    -70%       -71%            -84%           -93%                       -95%
qudo_dbi                    346/s         84%          54%       --                -16%               -35%                -48%    -54%       -56%            -75%           -90%                       -92%
the_schwartz_cached         413/s        120%          84%      19%                  --               -23%                -38%    -45%       -47%            -70%           -88%                       -90%
qudo_skinny_cached          535/s        184%         138%      55%                 29%                 --                -20%    -29%       -32%            -61%           -84%                       -88%
the_schwartz_simple         671/s        257%         199%      94%                 62%                26%                  --    -11%       -14%            -51%           -81%                       -85%
gearman                     758/s        303%         237%     119%                 83%                42%                 13%      --        -3%            -45%           -78%                       -83%
gearman_xs                  781/s        316%         248%     126%                 89%                46%                 16%      3%         --            -43%           -77%                       -82%
qudo_dbi_cached            1370/s        629%         510%     296%                232%               156%                104%     81%        75%              --           -60%                       -68%
gearman_cached             3448/s       1734%        1434%     897%                734%               545%                414%    355%       341%            152%             --                       -21%
the_schwartz_simple_cached 4348/s       2213%        1835%    1157%                952%               713%                548%    474%       457%            217%            26%                         --

• 標準のSkinny版よりちょっとだけ早い
• メンテナは募集中です
• 未CPAN UP

Qudo-Wiki

Qudo-Wiki

• http://wiki.qudo.org/

Qudo-Wiki

• http://wiki.qudo.org/
• まだあんまり書けてない

Qudo-Wiki

• http://wiki.qudo.org/
• まだあんまり書けてない
• wikiなので、書きたい人は誰でも書いてOK

Qudo-Wiki

• http://wiki.qudo.org/
• まだあんまり書けてない
• wikiなので、書きたい人は誰でも書いてOK
• #qudo@irc.perl.org にて一言ご連絡ください

Qudo::Web

Qudo::Web

• 開発停滞中

Qudo::Web

• 開発停滞中
• DBをイチイチ覗かずにWeb上からJobの状態確認をする
• cf:TheSchwartz::Web

Qudo::Web

• 開発停滞中
• DBをイチイチ覗かずにWeb上からJobの状態確認をする
• cf:TheSchwartz::Web
• 未CPAN UP

Conclusion

Conclusion

• repos

Conclusion

• repos
• http://github.com/nekokak/qudo
• その他のモジュールも基本github上にアップ済み

Conclusion

• repos
• http://github.com/nekokak/qudo
• その他のモジュールも基本github上にアップ済み
• IRC

Conclusion

• repos
• http://github.com/nekokak/qudo
• その他のモジュールも基本github上にアップ済み
• IRC
• #qudo@irc.perl.org

Conclusion

• repos
• http://github.com/nekokak/qudo
• その他のモジュールも基本github上にアップ済み
• IRC
• #qudo@irc.perl.org
• 引き続き開発していく予定です

Conclusion

• repos
• http://github.com/nekokak/qudo
• その他のモジュールも基本github上にアップ済み
• IRC
• #qudo@irc.perl.org
• 引き続き開発していく予定です
• 良ければ、試しに使っていただいてフィードバック貰えると嬉しいです

Conclusion

• repos
• http://github.com/nekokak/qudo
• その他のモジュールも基本github上にアップ済み
• IRC
• #qudo@irc.perl.org
• 引き続き開発していく予定です
• 良ければ、試しに使っていただいてフィードバック貰えると嬉しいです
• 良ければ、「ミクシィおもしろい」エントリ書いてくれると嬉しいです(お金は払いません)

Thank you

• ご静聴ありがとうございました