会計AIベンチマークの公開タスクを日本語化し、Excelで正解と参照式を組み直した

会計AIのベンチマーク APEX-Accounting の公開タスクを、手元に落とした。 最初の1問（Task 30）で、「年齢別エクスポージャー」という言葉が何を指すのか分からなかった。 この時点でもう、自分はこのタスクを完結できていないと思った。

ベンチマークの概要は、同じ日に書いた会計AIのベンチマークは、例題が公開されているにまとめた。 そのあと、公開タスクを Claude Code に日本語化させ、Excel で正解を組み直させながら、Task 30 と Task 13 を読んでいった。

会話ログとデータセットを手元に落とす

発端は、claude.ai で会計ベンチマークについて話した会話だった。 そのセッションを記事にしたくて、会話の取得とデータセットのダウンロードを Claude Code に頼んだ。 どこから手をつければいいのか自分では分からなかったので、Chrome DevTools を使ってよいとだけ伝えた。

会話（6メッセージ）は、ログイン済みの Chrome から Chrome DevTools MCP 経由で取り出してもらい、生データも保存させた。

データセットの取得に、専用の CLI は要らなかった。 公開 dev セット（10タスク分の依頼文、採点基準、模範解答）は curl で取れた。 ワールドの90ファイル一式も、Hugging Face の API でファイル一覧を取れば curl だけで落とせた。 データセットは全部で120ファイル、3.88MB だった。

記事の下書きも書いてもらった。 事実の詰めが甘い箇所を1か所直し、dev サーバーで表示まで確かめてもらっている。

ファイルの置き場所を聞くと、ダウンロードフォルダの下だった。 パスは、エクスプローラーで開けるよう ASCII に直してくれた。 90ファイルの中から探すのは面倒だからと、Task 30 用のフォルダだけを切り出して、エクスプローラーで開いてもくれた。

「年齢別エクスポージャー」という言葉

開いた Excel は英語だった。 まず言語の壁を取り払いたかったので、中身を全部日本語に変換し、Task 30 の下に日本語版として置いてほしいと頼んだ。 あわせて、「年齢別エクスポージャー」が何のことかも聞いた。

訳し方は、先に対訳辞書を作ってから Excel を変換する順だった。 できあがったのは、日本語版の Excel 2本と用語ガイドである。

「年齢別エクスポージャー」は、日本でいう売掛金年齢調べ（滞留債権分析）のことだった。 名前が違うだけで、中身は同じである。

売掛金年齢表サマリーの正解シート

意味が分かると、やることは単純に見えた。 シートには売掛金年齢表のサマリーがある。 そこから区分ごとの合計値を出し、割合を求めればいいだけではないか、と聞いた。

計算の考え方は、それで合っていた。 区分ごとの合計を出して、総額で割る。 ただ、1点だけ先に言っておくことがある、と返ってきた。

そこで、答えと計算式を出してもらうことにした。 頼んだのは、次のような「答えのバージョン」の Excel である。

• 新規シート（たとえば Answer）を1枚作り、そこに正解を置く
• 参照はすべて Excel 内で張り、元データからどう参照を組めば正解になるかを追えるようにする
• 集計には SUMIF 関数か INDEX MATCH 関数を使う（両方でも、どちらか一方でもよい）

組み上がるまでに、Claude Code の側で何度かつまずいている。

• 生成スクリプトを heredoc で渡したら途中で切れたので、スクリプトをファイルに直接書く形に切り替えた
• 数式が本当に計算されるかを Excel で開いて検算すると、直す箇所が2つ出た
• 自分がファイルを開いていたので上書きできず、修正版は別名で出した。Excel を閉じたあとで整理し、ANSWER_Task30.xlsx を正式版にした

答えを確定させるため、明細とサマリーの差から詰めてもらった。 突き合わせていくと、C5:G36 の範囲に誤りが2か所あった。 途中で「差 402,100.10」という数字も出てきた。 これは検算スクリプトに入れた比較値が間違っていたためで、正しい差額は125.00だった。

AIはこの問題に正解できたのか

Answer シートができたところで、そもそもAIはこの問題に正解できたのか、評価の結論はどうだったのかを聞いた。

Task 30 単体の成績は、公表されていなかった。 タスク別の内訳は非公開で、出ているのは全体のスコアだけである。 公表データからは、この問題をAIが解けたかどうか分からない。

この辺りの情報はすべてドキュメントに加えてほしいと頼み、ついでに「World 9」の意味も聞いた。 World 1 や World 2 もあるのだろうか。 ワールドとは、架空の会社まるごと1社のことだった。 公開されているのは World 9 の1社分で、Task 30 を含めて10個のタスクがある。 10タスクすべての出題セットを、ファイル欠損ゼロで配置してもらった。 調べる途中で、dev セットのモデル別スコアが README に載っているのも見つかった。 分かったことは、手元の手引きと記事の両方に反映してもらった。

それでも、タスク別にモデルごとの成否が分かる資料はないのか、と重ねて聞いた。 データセットの中に結果ファイルはなく、4つの経路を当たっても、タスク別の成績は見つからなかった。 代わりに、論文の Table 4 にカテゴリ別のスコアがあり、失敗理由の分析も載っていた。 これもドキュメントに追記してもらった。

C5:G36 の2か所に、AIは気づけたのか。 公開データから言えるのは、カテゴリの単位までである。

経理寄りのタスクはあるか

公開タスクは、04 から 30 までの10個ある。 Task 30 は区分ごとの割合を5つ、パーセントで出す問題だった。 会計ではあるものの、自分の感触では、どちらかというと財務寄りだった。 知りたいのは、もう少し経理寄りの処理のほうである。 売掛金の突き合わせや入金の突き合わせ、消し込みといったタスクはないのか。 全タスクの中身を見て日本語で文章化し、独立した章立てにして詳しく書いてほしいと頼んだ。

途中で、xlsx を read-only モードで読むと中身を取り切れないことが分かり、読み方を直して抽出し直してもらった。 できたのが、全10タスクをカテゴリ別に文章化した タスク詳細.md である。

売掛金の突き合わせは、Task 13 にあった。 ただし、消し込みそのものを扱うタスクはなかった。 明細と未払のカテゴリ（06、07、26）は、PDF も含めて資料を日本語にしてもらった。 辞書を広げるときは、固有名詞を外して訳すべき見出しだけに絞っていた。

Task 13 の日本語版とフォント

Task 13 の日本語版も頼んだ。 未翻訳の用語を洗い出して辞書を広げ、上席のレビューノートも和訳してもらった。 英語のまま残っていたシート名も直してもらった。 報告には「この問題、資料の作りが相当えぐいです」とあった。

続けて、日本語版のフォントをメイリオにしてほしいと頼んだ。 メイリオに変えたあと Excel で開いて確かめると、一部のセルに Calibri と ＭＳ Ｐゴシック が残っていた。 そこで Excel 自身に一括で適用させ、数式が保たれているかも確かめてもらった。 最終的に14ファイル、29シートがすべてメイリオになり、フォントの混在はゼロになった。

照合サマリーの「未検証の残高」

Task 13 の意味は、だいたい理解できた。 照合サマリーというシートに「未検証の残高」があり、$15,832.59 と出ている。 この差がなぜ出ているのかを照合するのが、この問題なのだろうと読んだ。

とはいえ、自分で解くのは面倒すぎて、やりたくなかった。 結論と、それを得るのに必要なプロセスをまとめてもらった。 模範解答の全文と資料で裏を取ったうえで、解説を JA_解答と解説.md に書いてもらった。

自分の読みは外れていた。 $15,832.59 は、照合すべき差ではなかった。 ドラフトが3か所で誤った調整を積み上げた結果で、正しく照合すると差異はゼロになる。

振り返り

• 日本語化は、Task 30 で作った対訳辞書を、明細と未払のカテゴリ、Task 13 と順に広げていく形で進んだ
• フォントの一括変更は、Excel で開いて確かめるまで終わっていなかった。Calibri と ＭＳ Ｐゴシック が残ったセルは、Excel 自身に適用させて消えた
• Task 30 では C5:G36 の範囲に誤りが2か所、Task 13 ではドラフトに誤った調整が3か所あった。どちらも、渡された資料の数字そのものに誤りが混ざっていた

Task 13 は、結局、自分では解かずに答えを読んだ。 AIがこの3か所に気づけたのかは、タスク別の成績が公開されていない以上、分からないままだ。