自分が提案した解決法が有効であることを評価するのは研究の基本。ただし、そのときに注意するべきことは「何を評価するのか」「何を基準にして良くなったのか」を明確にすること。
ちょうど悪い例が以下の記事
政府が二〇一一年度から試験的に行っている競り下げ（リバースオークション）入札で、大幅な歳出削減を期待できることが分かった。前年と比べて約三分の一の額で契約できたものもある。消費税率引き上げの前に、政治や行政の無駄削減が叫ばれる中、政府と独立行政法人を合わせると年間約十二兆円にのぼる公共工事や物品購入など公共調達の契約額削減にも注目が集まりそうだ。
競り下げは一定時間内に、業者が何回も入札し、最終的に一番安い価格を提示した所が契約する方式。英国などの公共調達では一般的に行われている。
民主党政権は公共サービス改革の一環として導入を決定。一一年度内に九省庁で計三十五回、コピー用紙、封筒、段ボール、パソコン関連の消耗品などの購入を対象に行った。
前年の随意契約とほぼ同じ内容の発注で比較できる契約のうち、最も削減率が高かったのは今年一月十三日に厚生労働省が行った「医薬品産業実態調査報告書」などの印刷。前年は九十三万六千四百円だったのが三十二万円で約三分の一になった。前年の随意契約では同省が指定した二社から見積もりを取っただけだったが、今回はインターネットで参加募集し、五社が入札して競争が厳しくなったことが価格引き下げにつながった。
そのほか、同省が昨年十一月に行った「はたちの献血」ポスター印刷も４５・８２％減の四十万円で契約した。
国土交通省が同年九月に行った封筒の印刷のように前回より高くなった事例もあったが、政府・民主党は検証しながら対象を拡大していく方針だ。
タイトルから「競り下げ入札」という入札の方法が無駄切りに有効であると予想される。本文中でも以下のようにあり、「競り下げ」に興味の焦点がおかれている。
競り下げは一定時間内に、業者が何回も入札し、最終的に一番安い価格を提示した所が契約する方式。英国などの公共調達では一般的に行われている。
新聞は結論から記事を書くのでこの記事の要点は以下の部分。
政府が二〇一一年度から試験的に行っている競り下げ（リバースオークション）入札で、大幅な歳出削減を期待できることが分かった。前年と比べて約三分の一の額で契約できたものもある。
タイトル、「競り下げ」の仕組みの解説があることから、この主張は従来の競争入札と競り下げ入札を比較した結果として、競り下げ入札の方がより安くできたと主張していると読み取れる。なので、読者は以下のような流れを期待する。
| 何を主張したいこと | 従来の競争入札の方式より、競り下げ入札の方が安い値段で落札される | ||
| 主張を裏付けるデータ | ほぼ同じ案件における従来の競争入札の落札価格と競り下げ入札での落札価格の比較 | ||
| データの処理 | 統計処理して誤差の範囲を超えているかどうかを確認する |
実際に何をしているかというと随意契約と競り下げ入札の契約額を比較している（すべてかどうかは別として代表例としてあげられている）。
前年の随意契約とほぼ同じ内容の発注で比較できる契約のうち、最も削減率が高かったのは今年一月十三日に厚生労働省が行った「医薬品産業実態調査報告書」などの印刷。前年は九十三万六千四百円だったのが三十二万円で約三分の一になった。前年の随意契約では同省が指定した二社から見積もりを取っただけだったが、今回はインターネットで参加募集し、五社が入札して競争が厳しくなったことが価格引き下げにつながった。
随意契約とは以下のような契約。
随意契約（ずいいけいやく）とは国、地方公共団体などが競争入札によらずに任意で決定した相手と契約を締結すること、及び締結した契約をいう。
（ja.wikipedia：随意契約より）
この結果から主張できるのは「随意契約と競争入札を比較すると競争入札の方が契約額が少なくて済む」というもの。この主張は、とっくに検証済みだし、すでに競争入札の制度はある。よって、主張したいこととそれを裏付けるデータ（実験）が対応していない。典型的にダメな評価の例になっている。
ちゃんと、コラム「制度研究棟から見た政策」 第14回：政府調達の「競り下げ」導入、効果の見極め 慎重にのような議論をしないといけない。
おわりに
専門家でなくても、日本語と「随意契約」の言葉を知っていれば、おかしな主張になっているとわかる。
このように、自分が論文を書いていたり、発表資料を作っているときにはこのような筋が通らない話をしていることに気が付きにくい。専門家でなくても他人に読んでもらうだけでこのようなミスを防ぐことができる。
関連：
追記
民主党のアピールポイントは以下の部分にあるのだから、どれくらい参入が増えたのかを説明してあげればよかったのに（まあ、元の記事に情報ソースからしてポイントを抑えたアピールをしていないんだろうけど。）
建前としては多くの企業が入札に参加できることになっているが、実際にはさまざまな条件が設けられ、特定の企業しか入札に参加できないケースが極めて多かったという。
「入札の参入要件を緩和し、インターネットで多くの業者が参入できるようにすることで、いろいろな物品や役務が民間価格まで低下していくことになるでしょう」
（民主党：税金の無駄遣いをなくすために 競り下げ方式で「お役所価格」を民間並みに）
