はてなクラブがユーザビリティのための品質向上を目指すのであれば、もっと対象ユーザを絞り込むべきだと思います。
ユーザビリティテストの肝
先日、はてなクラブの募集が開始されました（僕も申し込みました）。既にいろんな人たちがブクマコメントなどで突っ込んでいるのですが、ユーザビリティテストの考え方がちょっと甘いかなと思います。
今までのid:jkondoの発言から、はてなはキャズム越えを狙い、YouTubeやmixiのように一般ユーザが使うようなWebサービスになろうとしているのだと思います。そうすると、今一番意見を求めなければならないのははてなを使っていないユーザです（ユーザにとっての既存サービスの改善のためのユーザビリティテストであれば、ユーザを対象とするユーザビリティテストは合っているのですが）。
ユーザビリティテストを行う上で重要なのはテスターのリクルーティングだと思います。はてなクラブの募集のページでは、「家族や友達も誘って」と書いていますが、そんな曖昧でいいのでしょうか。
男性・女性向け、年齢、ネットの使用歴、職業などさまざま要因が折り重なって、その対象がユーザになり得るかどうかが決まります。たまたま偶然来たユーザ（そもそもターゲットではないかもしれない）の意見を取り入れてしまって、デザインが悪い方向に転がってしまう可能性は否定できません。
インタビューは正しいか？
また、id:jkondoの日記ではインタビューをすることによって実態調査を行っているとありますが、この方法も最善かと言われるとちょっと疑問です。インタビューはインタビューされる人が自分で言語化できることしか答えられないので、言語化できない自分のニーズを伝えることができないのです。
そのための方法としてコンテキストインタビューなどの方法があります。これは普通にネットを使っている人がどんな使い方をしているのかを理解する目安になります。
はてなは技術屋の会社なんだろうけど、デザインも技術だし、デザインこそユーザの心を掴むものだと思います（Googleにしろ、37signalsにしろ）。だから、もう少しユーザビリティには力を入れてもよいんじゃないですかね。
