https://research.cs.wisc.edu/dbworld/ dbworldという国際会議の論文募集（Call for Paper, CFP）が流れてくるメーリングリストに以下の国際会議（ワークショップ）のCFPが流れていた。
The 3rd IEEE Workshop on Human-in-the-loop Methods and Human Machine Collaboration in BigData (IEEE HMData 2019)
humanmachinedata.org
このCFPのOverviewで気になった記述が。
This workshop addresses human-in-the-loop approaches in bigdata lifecycle - in collecting, processing, analyzing, utilizing, archiving and disposing them.
私はこの「human-in-the-loop」というのを知らなかったのでGoogle先生にお伺い。すると、 human-in-the-loop型機械学習というのがメジャーにになったのはPaco Nathanさんが「Strata EU」という会議で行った講演に由来するとのこと。
AI、データサイエンス、ソフトウェア工学の分野で何十年も活躍してきたNathan氏は、それらすべてに関われるだけの多様な経歴を持っており、現場での経験も豊富で、大きなビジョンを持っている。ここでの議論のきっかけになったのは、同氏が「Strata EU」で示した、「Human in the Loop」（HITL、人間参加型）と呼ばれる機械学習のフレームワークだ。
（「Human-in-the-loop（HITL）機械学習」--AIと人間の関係はどうあるべきか - ZDNet Japanより）
当該講演とその発表資料
conferences.oreilly.com
HITLは、機械学習を効率的でアプローチしやいものにする、複数の仕組みを組み合わせたアプローチだ。Nathan氏は、HITLはデザインパターンの1つであり、複数の技術的なアプローチと管理の手法を組み合わせたものだと説明している。
～中略～HITLで用いるのは、それほど一般的ではない「半教師あり学習」と呼ばれる手法の特別なケースである、「能動学習」という手法だ。半教師あり学習の考え方では、複数の機械学習のモデルを組み合わせて、各入力データにどのようなラベル付けを行うかを「投票」させる。各モデルの意見が同じであれば、その一致した意見が採用される（通常は自動的な処理として行われる）。
モデルの意見が分かれたり、信頼度が低い場合には、難しいケースを扱うことができる人間の専門家に判断を任せる。その後、専門家の選択がシステムにフィードバックされ、機械学習モデルのトレーニングに使用される。
（「Human-in-the-loop（HITL）機械学習」--AIと人間の関係はどうあるべきか - ZDNet Japanより）
HITL型機械学習は専門家が機械学習の学習過程に含まれているシステムだけど、それを社会に拡張するとsociety-in-the-loop (SITL)になるとのこと。
社会参加型 (society-in-the-loop) 機械学習は、人間参加型 (human-in-the-loop)機械学習を拡張したものだ
（MITメディアラボ所長 伊藤穰一が考える「社会参加型人工知能 」 | ワールド | 最新記事 | ニューズウィーク日本版 オフィシャルサイト より）
機械学習の文脈ではHITLというのは最近盛り上がってきたワードのようだが、人工知能分野でいうとシステム内に人間を含むという発想は知能拡張（IA）という考え方で古い様子。
www.jstage.jst.go.jp
科学ジャーナリストのJohn Markoffによれば，知的機械の研究は，2つの派閥の競合の歴史であるという1）。
一つは，人工知能（AI: Artificial Intelligence）派。こちらの立場では，安全性・信頼性を高めるため，意思決定の「ループ」（後述）には人間を入れず，機械で人間を代替しようと考える。代表的学者は，フレーム理論やこころの理論（「こころの社会」論）で著名なMarvin Minskyや，Minskyと並んで人工知能分野の開拓者であり，LISP（プログラミング言語）やタイムシェアリングシステムの開発でも知られるJohn McCarthyだとされる。
もう一つは，知能拡張（IA: Intelligent Amplifier）派。こちらの立場は，意思決定の「ループ」に人間を入れて，機械によって人間の知能を拡張しようとする立場だ。こちらの代表的学者は，マウスを発明しGUI（グラフィカルユーザーインターフェース）との統合を試みたDouglas Engelbartや，グループウェアなど協働コンピューティングの研究で著名なTerry Winogradなどだ。
私は人工知能よりは知能拡張派。
能動学習（Active Learning）
HITL型機械学習の一部のプロセスが能動学習（Active learning）と名付けられているらしい。
人間の役割は、学習段階の次の「テスト段階」で機械が導き出した誤った結果を訂正することです。テスト段階では、人間は機械学習アルゴリズムが判断に確信を持てない結果を訂正することに集中します。確信度の低いユニットを人間が取り扱い、アルゴリズムへフィードバックするこのプロセスは、能動学習 (Active Learning) と呼ばれています。
今、文科省が推奨しているアクティブラーニングは以下のような意味。
アクティブラーニングとは、学習者である生徒が受動的となってしまう授業を行うのではなく、能動的に学ぶことができるような授業を行う学習方法です。
生徒が能動的に学ぶことによって「認知的、倫理的、社会的能力、教養、知識、経験を含めた汎用的能力の育成を図る」（2012年8月中央教育審議会答申）内容だとされています。
具体的には教師による一方的な指導ではなく、生徒による体験学習や教室内でのグループ・ディスカッション、ディベート、グループ・ワークを中心とするような授業のことを指します。
HITL型機械学習を専門家の判断能力を使い捨てするように利用される（十分な学習ができたら専門家をループの外にだす。 仮にそれっぽくいうと Human-in-the-loop-to-human-out-the-loop, HITL2HOTL)ようになると新井紀子：コンピュータが仕事を奪うで紹介されているような、機械学習の下請けとしての人間が発生してしまう。そして、その下請けプロセスを「アクティブラーニング」と呼ぶのだとすると、大変皮肉で笑えない話。どっちの意味で「能動学習」が残るのか。
余談
DB WorldのTwitter版があった。
twitter.com
