アイソスアンケート考 10.01.17

アイソス2010年2月号に「受審満足度調査でISO9001認証機関をランキング」という特集記事が載っている。活字を読むのが習慣というかもう呼吸と同じとなっている私は熟読した。何回も
前月の2010年1月号の認証機関のISO14001規格の理解についてのアンケート(あるいは試験)とは違い、今回の特集はISO9001認証組織へのアンケートで、その内容も主観的な認証機関の評価である。先月号と違い規格の解釈ではないので、アンケート結果が正しいとかおかしいとか語る性質でもない。また他人がどのように評価をしたからと言って自分がそれに従うこともない。この特集記事から得られることは、世の中の認識というか考えを知ることができたに過ぎない。でも読んでいておかしいなあと思うことは多々ある。
本日はそんなことを書く。

アンケート結果をみると、審査を受けている企業の審査員の評価は極めて高い。5点満点で3.89点・・100点満点換算なら78点だからきわめて高いと言えるだろう。
細かいことを書くとアイソス誌からお叱りというか訴えられる可能性もあり、アンケートの設問や回答の詳細はアイソス誌を購入いただくとする。
一般的に日本人は中庸を重んじ、過激な評価をしない。5段階評価であれば中央である3点に付ける人が最も多く、1点とか5点に付ける人は少ない。そんな日本人の性格を踏まえると、ここでの評価がほぼ4点ということは、ものすごく高い評価といえるだろう。
可愛い娘 嫁に出したのが残念
我が娘はヴィトンが大好きだが、ネット通販も大好きで、お仕事と家事をしていないときはアマゾンを見て過ごしているらしい。
そんな娘は「アマゾンのレビューを見ていると、日本人はおとなしくつまらないが、アメリカはとても面白い」という。
「ぼくはこれを買って感激した。これがなくてはこれからの人生を生きていけない」とか「なんてつまらないものなんだ、こんなものを売っているなんて信じられない。すぐに返品した。」なんていう評価がたくさんあるそうだ。そして日本では1品についてレビューがせいぜい数十件止まりらしいが、アメリカではそういう感情豊か(?)で評価がはっきりしているコメントが数百件もあるという。
アマゾンのレビューを読んでいるだけで英語の勉強になりそうだ。
ともかくアイソス誌のアンケートをみると、審査を受けている企業がISO審査を高く評価して満足しているということが推察される。この情報からはISO9001の審査登録は企業の品質経営、あるいは広義の品質管理に役立っていると認識されていると思うのが普通だろう。
しかしながら私はひねくれ者だからそう簡単には納得しない。
まず調査方法であるが、アイソス誌が一般に広告してそれを受けてアイソス誌のウェブに入力したものを元データとしている。つまり回収率というか回答率というべきか、対象組織の中で回答した組織は非常に少ないことがあきらかである。日本国内でISO9001の認証を受けている組織数そのものがはっきりしないのだが、アンケートを行った2009年9月時点のJAB認定のISO9001認証件数39,967件を母数とすれば、(これは確実で最小の数字であることは明白だ)
696÷39,967×100=1.74%
ということになり、アンケートの回答率は非常に低いと言えるだろう。

アンケート調査とは何パーセントのデータがあれば良いかというよりも、何件の回答があれば良いかというのが正しい。もちろんそれは無作為抽出の場合である。この場合の696件は明らかに少なく、かつそもそもが無作為でないことに注意すべきである。というのは通常こういうアンケートに回答する、あるいはわざわざウェブにアクセスして入力する組織・人は、ISOについて関心が高く、積極的に活動しているだろう。ISO審査を重要視していない組織であれば、審査の質が良くても悪くてもアンケートに対応しないだろう。
いずれにしても一般的な抜取検査ではないことに注意が必要だ。

それと思うのだが、そもそも審査に対して不満がありその評価が低ければ、その組織は既に審査機関をくら替えしているはずだ。もし審査機関選択が完全に自由であって、どの組織も審査に不満があればすぐにくら替えするものとすれば、くら替えを繰り返すことにより認証組織全体の審査機関の評価は時間の経過と共に高まることが想定される。
今回の設問をみると、くら替えについての質問はなく、この観点からいえばアンケートの設計が適正ではないように思う。
そしてまた審査登録を止めてしまった企業に対しては意見を問うていない。審査の質が悪いと判断した企業がすべて審査登録を止めたと仮定すると、認証を受け続けている企業は審査に満足している企業だけになり、当然評価点は時間と共に上昇する。
もちろん母数は減っていくだろう。だがそれは今回のアンケート調査では現れない。

そんなことをいろいろと考えると、この調査は調査精度も低く、アンケートの設計にバイアスがかかっているといっても良いだろう。バイアスといって悪ければ、設計が不完全なのだ。
まあ、そんなふうにあらを探したり上げ足を取ることもない。調査回答を見て頭に浮かんだことを書く。
私自身は最近はEMS一筋で、もうここ6年以上自分自身がISO9001の審査を受けることもなく、コンサルしたこともない。QMSというかISO9001との縁は、ときどき知り合いや初対面の方からも質問を受けて回答するくらいしか関わりがない。だから、今回のアンケート結果を見ても「ハア、そうなんですか」としか言いようがない。

しかしそんな私であるが、やはりアンケートを見て疑問は湧いてくる。 この3点が同時に存在しているということはどういうことなのでしょうか? なにか変だという感じを持つのは普通だろう。
もちろん信頼性といっても二通りあります。一般社会が認証制度に対する信頼感と、認証を受けている組織が認証制度に対する信頼感です。このふたつは直接関係ありませんから片方の信頼感が高く、他方の信頼感が低くても矛盾はしません。しかし認証を受けている組織が認証制度に対する信頼感と認証件数は相関があるはずです。認証を受けている組織が認証制度に足して信頼を持ちながら認証を辞退するということはあまりありそうないです。

あるいはサンプリングが無作為ではないために回答が偏り、認証を受けているサイレントマジョリティは審査登録に対する評価も信頼性も低く、その大多数を占めるグループが認証を返上しつつあるという想像もできます。
まったく別の可能性として、日本人は相手が期待する回答をするという性質があるので、単に満足の度合いを高く回答したということもありそうだ。

本日の結論
認証機関の満足度が高く信頼性が低下するという謎は解けませんでした。

本日の憎まれ口
ところで同志から「おばQの勝手格付けよりもアイソスを信じます。(^^)」という突っ込みをいただいた。
オイオイ、そりゃ違うでしょう!
私の勝手格付けは論理の結論であり、今回の評価は人気投票だよ 



名古屋鶏様からお便りを頂きました(10.01.17)
佐為様
まいど、名古屋鶏です。
アイソスのアンケートですが、私も読ませて・・といか眺めさせて頂きました。
何と言うか・・あまりにもジャパニーズ・ナレアイ・スタイルでしたもので。
例えばモノが車であって、あるユーザーがトヨタ車も日産車にもスバル車にも三菱車にも乗っていた経験があるのであるならば、それらの車メーカーを比較して評価することも可能でしょう。
しかし、こと認証機関の話になれば業界の縛りがキツイ現状では複数の認証機関を渡り歩くのは、なかなか出来ることではありません。すると、例え実力に乏しい認証機関であったとしても、そこしか知らなければ、「まぁ・・いいんじゃない」という評価になっても不思議はないと思います。
それと、今回のアンケートは記名式だったと思います。私も参加をしようとしたのですが、それがあったので止めました。後になって「コレを書いたのは何処のどいつだ」となっても困るんでw
私は佐為様の勝手格付けの方を信頼しますよ。
もっとも、ウチの認証機関の回答があまりにもイイコちゃんだったのが不満でしたけども。

名古屋鶏様 毎度ありがとうございます。
そうか! 審査機関の切り替えそのものが非常にハードルが高いですよね。だから買ってしまったものを好きにならざるを得ない・・そんなことをなんて言いましたっけ? だいぶ前マーケティング講座で習ったような気が・
まあ、いろいろなアンケート調査があり、いろいろなデータがあり、情報がたくさんあると我々の購買先選定にも、人称機関との交渉にも役立つでしょう。

しょうちゃん様からお便りを頂きました(10.01.18)
本日の結論
認証機関の満足度が高く信頼性が低下するという謎は解けませんでした。

本日憎まれ口
ところで同志から「おばQの勝手格付けよりもアイソスを信じます。(^^)」という突っ込みをいただいた。
オイオイ、そりゃ違うでしょう!
私の勝手格付けは論理の結論であり、今回の評価は人気投票だよ


あぁ、そうでしたか。失礼しました。
私の中では、「(勝手)格付けが高い =人気があるはず」と、飛躍しておりました。

私の拙い情報のなかで、いくつかの人気のなさそうな機関が勝手格付けでトップクラスであったということに、引っ掛かっていたのですが、アイソス人気投票でそれらの機関が下位グループになり、納得したというか、溜飲が下りました。
(票数未達でアイソスで詳細未公開の機関も含めて)

そういえばたいがぁさまの突っ込みで、アンケート(勝手格付け)と一般の人気のマトリックス分析までされていましたねぇ。
結局、審査機関の見識は高い(たまたま地雷は踏まなかった)が、審査員の力量が低いということなんでしょうか。
まぁ、勝手格付けのベースは14001、今回のベースは9001であることや人気投票は偏ったサンプリングであることは置いといての話ですし、前提の違うものを比較すること自体、無意味なのかもしれませんが・・・。

しょうちゃん様 毎度ありがとうございます。
まずおっしゃるように、QMSとEMSの違いがあります。
それから、片や審査機関の考え方であることと、片や人気投票であることが違います。
それはともかく、厳格な審査、規格通りの審査を行う審査が組織からみて好ましいものではないという論もあります。
そもそも、組織によって審査に求めるものは多様であり、すべての組織を満足させるためにはオーダーメイドしかなく、それは規格適合という観点からは相いれないのかもしれません。
ともかく、いろいろなことを考えるネタをくれたアイソス誌と恩田編集長に乾杯!
そう言っておかないと、あとが怖い
いや、完敗かな?


VEM様からお便りを頂きました(10.01.20)
おべっかで満点がつかないのは恥ずかしい
アイソスアンケート考と名古屋鶏様のお頼りを拝読しました。

佐為様のHPを読んでいますので、ISOの審査を無事にパスするのは審査員や審査機関への心づけやおべっかが重要だと心得ております。記名式で専門誌がアンケートを募集するということは、おべっかの格好の機会を得たと判断した方が応じるのが大半と思います。
それが満点になっていないとは!認証機関とはやはり相当にレベルが低いのだと納得しました。

VEM様 毎度ありがとうございます。
一般に・・というか当たり前ですが・・商取引というのは金を払う方が強いのが普通です。
寿司屋に行って、鮨を食わせていただきありがとうございますなんて言う人はいません。
寿司屋のオヤジが「イラッシャイ」「オアイソ」「マイドアリガトヤンス」というのが常識です。
ところが、ISO審査は審査員にお金を払い、しかもあがめたてまつらないといけないようです。
不思議なこともあるものです・・・orz


うそ800の目次にもどる