ニュース / トピックス
インテル、プラットフォーム時代のベンチマークテストについて説明――ゲームとデジタルホームについての能力評価ツールを開発
2005年10月21日
 |
米インテル パフォーマンス・ベンチマーク・アナリストのデーブ・サルバトアー氏 |
|
 |
インテルが開発したパソコンのゲーム能力評価ツール『Intel Gaming Capabilities Assessment Tool』の画面 |
|
インテル(株)は20日、東京都内にて報道関係者を集めた説明会を開催し、同社が推進するプラットフォーム戦略に基づいたシステム性能評価方法についての説明を行なった。同社では現在ゲームやデジタルホーム向けプラットフォームの性能を評価するための“能力評価ツール”(ベンチマークテストツール)を開発中で、ゲーム能力評価ツールは配布開始、デジタルホーム能力評価ツールはテスト版が近日公開される模様。
“プラットフォーム評価の新しい手法”と題した講演を行なった、米インテル パフォーマンス・ベンチマーク・アナリストのデーブ・サルバトアー(Dave Salvator)氏は、既存のベンチマークテストプログラムについて、“ユーザーの使用シーンに即していない”“特定機能の性能評価だけで、プラットフォーム全体を見ての評価できない”といった問題点があると指摘した。またサルバトアー氏は既存のテストを“ドラッグレース”と形容し、速度だけに着目した評価は、利用形態の変化に即しておらず、ユーザー体験を重視した評価方法の必要性を訴えた。
 |
既存のメジャーなベンチマークテストを例に取り、それが現在のユーザーニーズに即しているのかは疑問であるとした |
|
 |
サルバトアー氏は、単純な演算性能速度を測った第1世代、特定アプリケーションやコンポーネントの速度を測った第2世代から、ユーザー体験やプラットフォーム全体の能力を評価する第3世代にベンチマークは進化しているとした |
|
サルバトアー氏はプラットフォーム評価の例として、ゲームに対するものと、デジタルホーム向けアプリケーションに対するプラットフォーム評価の例を説明した。まずゲームについては、現在ゲームパフォーマンステストとしてよく利用される、特定の操作スクリプトをノーウェイトで実行させて平均フレームレート(フレーム/秒、以下fps)を計測する“タイムデモ”を取り上げ、実際のゲームとかけ離れた結果であり、有用なのだろうかと疑問を示した。その根拠として、同社のパフォーマンス解析ソフトウェア“Vtune”を使い、米Epic Games社のファーストパーソンシューティングゲーム(以下FPSゲーム)『Unreal Tournament 2004』(UT2004)を解析した例を示し、タイムデモ時の負荷よりも実際のゲームプレイ時の負荷のほうが高いといった乖離を指摘した。またゲーム向けシステムは単純な相加平均での平均fpsでは、ゲーム体験の善し悪しを示せないとも述べた。
|
|
『Unreal Tournament 2004』のタイムデモと実際のゲームシーンを解析した結果の違い。メモリーへの負荷や命令の使用頻度が異なり、実際のパフォーマンスと乖離しているという |
そこで同社は調査会社の米ガートナー社と協力して、2004年12月に行なわれたゲーム競技会“Cyberathlete Professional League”(CPL)の場で175名のゲームプレイヤーを対象に調査を行ない、『Doom 3』『Half-Life 2』そしてUT2004の3タイトルのFPSゲームを使って、平均fpsとゲームの快適さを調べたという。その結果、60fpsを超える描画能力があっても、ユーザーの快適さ(ゲーム体験)はほとんど変わらないという結果が出たという。そしてfpsが一定のしきい値を下回るほど、ゲーム体験が低下すると分析。しきい値モデルを使うことで、より正確なゲーム体験の計測が可能とした。前記の3タイトルのゲームの場合、Doom 3は40fps、ほかの2本は45fpsがしきい値となるという。またしきい値モデルを統計的に分析する手法だけでなく、確率に関する定理“ベイズの定理”に基づいた解析モデルでもfpsの変化を解析。瞬間的なfpsやフレーム間でのレンダリング時間の差などをデータとして解析する手法も考案した。
 |
2004年12月のCPLで、同社と米ガートナー社が行なった調査。異なるハードウェアでゲームをプレイしてもらい、fpsを計測する一方で快適さを5段階評価で回答させた |
こうした研究を元に同社では、前記3タイトルのゲームを対象として、実際のゲームプレイ中にフレームレートの変化を計測して、しきい値との差を測定するゲーム能力評価ツールを開発した。これはDirectXで描画を行なうゲームのfpsを計測するユーティリティーソフト『Fraps』を使用して、実際のゲーム中のfpsを計測。それを解析して“Gaming Experience”という1から5までの数値で示すというツールである。数値は高いほど優れていて、しきい値モデルとベイズ解析モデルの2つの手法それぞれで算出する。つまり前記3ゲームをこれで計測して、数値が高いプラットフォームほどゲームプレイを快適に楽しめるマシンであるというわけだ。
 |
現在のゲーム能力評価ツールの仕様。Doom 3、Half-Life 2、UT2004にのみ対応。対応するゲームの種類や数を増やすことが、今後の計画に含まれている |
|
|
UT2004のタイムデモを計測した結果。左はfpsの変化を示し、右の2つはベイズ解析モデルとしきい値モデルでの5段階評価となっている |
|
デジタルホームについては、単純な速度では比較できない(たとえば30fpsで制作されたビデオ映像を、60fps表示する能力があっても有意ではない)として、“速度中心ではなくユーザー体験と総合能力に基づいた結果を測定するツール”が必要とした。そこで同社では、デジタルホームプラットフォームが想定する使用シーン28個を、“Basic(Level1)”“HD(Level2)”“Connected(Level3)”に分類。それぞれについて反応時間や映像品質などで性能計測を行ない、緑/黄/赤のマークで善し悪しを示すというツールを開発した。つまりBasicな用途はすべて緑でも、Connectedでは赤や黄が混じるプラットフォームは、基本的なコンテンツ視聴は楽しめても、メディアサーバー的に使うには性能が足らないと判断できる、ということになる。
 |
デジタルホーム能力評価ツールの評価対象(赤枠は編集部作成)。左の枠内の項目が“Basic”で評価する使用シーンで、右上の4つが“HD”、右下3つが“Connected”に含まれる |
|
 |
能力評価ツール『Intel Digital Home Capability Assessment Tool』の評価結果画面。ツール自体も10フィートUIでのリモコン操作をイメージして設計されている。実際に使用シーンをイメージした処理を行ない、結果評価を緑/黄/赤の色で示す |
|
公正で実用的な評価手法になるかは疑問
現在のパソコンの性能を評価する場合、単純なCPUやグラフィックスチップ(GPU)の演算性能、メモリーやHDDの読み書きパフォーマンスだけでは、パソコン全体の性能評価には適さない。サルバトアー氏は「インテルはプロセッサ企業ではなく、プラットフォーム企業である」と述べたように、CPUからプラットフォーム全体を提供する企業に変質した同社からすれば、コンポーネント単位のスピード評価でプラットフォームの善し悪しを判断されてはたまらない、というわけだ。これは間違った考え方ではない。
しかしインテルが提供する新しい評価ツールが、はたして公正で実用的な評価ツールとして認知され、幅広く利用されるかは別の問題であろう。単純に言えば、インテルのCPUなりプラットフォームに最適化された評価処理を元に算出された結果を出すようなツールでは、ライバルである米Advanced Micro Devices社(AMD)のCPUや、それを核にしたプラットフォームの性能を公正に評価しているとは言えず、性能評価指標としては使えないということになる。いかにして同社の能力評価ツールが公正な計測と評価を行なっているかを、証明する必要がある。
しかしこの懸念を報道陣との質疑応答でぶつけられたサルバトアー氏の回答は、満足いくものではなかった。たとえば能力評価ツールのソースコードは、ライセンス契約を結んだデベロッパーに対しては開示するものの、オープンソースソフトウェアのように、誰もが内容を参照できるような形での公開はしないという。「外部の企業との協力で開発されたコードも含んでいるため、すべてを公開はできない」ということだが、それではコードの中に、AMDプラットフォームでは不利になるような評価処理が含まれていないかを、証明するのに十分とは言えない。サルバトアー氏は、そのような処理はしていないと述べたが、それならばなおのこと、公開手段を限定する理由はないだろう。能力評価ツールの計測や結果の算出方法についても公開されるとしているが、それだけでは十分に公正さを担保してるとは言えまい。また、たとえばゲーム能力評価ツールの結果で“3”と“4”の差が出た場合、ユーザーの実体験と比べて、それがどの程度の違いになるのかも分からなかった。「AMDと協力して、両社が納得できる中立な能力評価ツールを作る考えはないか」という問いに対しても、否定的な見解が示された。
マルチコアCPUやパラレルプロセッシング能力を強化していくGPU、新しいゲーム/AV/ネットワークアプリケーションの処理性能を、正当に評価できるツールというのは、誰もが望むものである。それを実際に作ろうという同社の取り組み自体は評価に値するものの、透明性や公正さを証明する手段に欠けるままでは、客観的で信頼される指標になるか疑問が残る。なお同社ではこうした能力評価ツールや関連情報について、http://www.intelcapabilitiesforum.net/(現時点ではアクセスできない)にて公開、ダウンロード可能とするとしている。
(編集部 小西利明)
| ![ASCII24 - [Main Menu]](/images/2005/news_menu_01.gif)
![[Menu 2]](/images/2005/news_menu_02_blogmag.gif)
![[PR]](/images/2003/pr_icon.gif){kind=icon}
