会計AIのベンチマークは、例題が公開されている
会計AIのベンチマークは、例題が公開されている
Ramp Labs の会計ベンチマークを見つけた。 AIが会計士の実務をどこまでやれるかを測るという。
最初に思ったのは「例題が公表されていないなら、あまり意味がないのでは」だった。 モデルの点数だけ並べられても、その問題が難しいのかどうかが分からない。 自分が解けるかどうかも試せない。
調べたら、半分は違っていた。
調べてわかったこと
- 本体は Ramp 単独ではなく、Mercor と組んで作った APEX-Accounting というベンチマーク
- 採点対象の160タスクは非公開。ただし10タスク分が、会社の帳簿ごと丸ごと公開されている
- 公開されているのは依頼文だけではない。90ファイルの証憑・帳票と、採点基準と、模範解答が揃っている
- ライセンスは CC BY 4.0。
curlで落とせる。専用CLIは要らない - 専門家の見積所要時間は 1タスクあたり 0.75〜4時間
- 現在の首位は Fable 5.1 の 61.0%。8回試行しても、どのモデルも一度も完答できないタスクが58%ある
- 公開された10タスクは「11ワールド中いちばん易しい」もの。それでも最高は67.9%
- 資料に混ざっている矛盾は事故ではなく、設計段階で仕込まれたトラップ
- 人間のベースラインは公表されていない。ここは弱点として残っている
例題は「公開されていない」わけではなかった
構造はこうなっている。
採点に使う本番セットは、10の模擬企業（ワールド）に散らばる160タスク。 モデルに学習されると測れなくなるので、これは伏せられている。
その代わりに、練習用のワールドが1つ、丸ごと公開されている。 HuggingFace の mercor/apex-accounting がそれで、World 9 の10タスクが入っている。
中身は3層に分かれる。
- 会社の状況データ — 帳簿と証憑、90ファイル
- 依頼文 — 実務で受けるままの短い指示、10本
- 正解 — 模範解答と、それを機械採点するための基準
つまり「解いてみたい」と思ったときに必要なものは、ぜんぶある。
ワールドとは、会社まるごと1社のこと
このベンチマークで「ワールド」と呼んでいるのは、問題集の章ではなく舞台そのものだ。
A world is a self-contained synthetic company at a fixed point in its month-end close
月次決算の一時点で切り取った、自己完結した架空企業を指す。1つのワールドは、業種と勘定科目表、収益モデル、前期繰越残高、そして会計士がその会社のシステムから引き出すであろう証憑一式を持つ。
そして1ワールドに複数のタスクがぶら下がる。「World 9 Task 30」は「9番目の会社の、30番目の仕事」という意味になる。
適格と判定されたワールドは全部で11。うち10ワールド160タスクが本番で、残りの1つ、World 9 が公開された。
面白いのは、この公開ワールドが11の中でいちばん易しいものだと明記されている点だ。
Because the dev world was the easiest of the 11 qualifying worlds, scores run higher on it.
つまり我々が触れるのは、いちばん簡単な会社である。本番の難易度はこれより上だと思って見るのが正しい。
矛盾は仕込まれている
ワールドの作り方も書かれていて、ここが実務者には一番刺さる。
ワールドごとに詳細仕様を書く段階で、trap register（仕込んだ矛盾の一覧）を作っているという。前任者の作業ミス、上席のレビューノート、書きかけの照合表。そういう形で、意図的に誤りが埋め込まれている。
資料が食い違っているのは、作り込みが甘いからではない。そこが問題になっている。
なお全書類は新規に書き起こされ、公開情報と照合済みだという。ネット上に元ネタが存在しないので、モデルが記憶で答えることはできない。
舞台はフィラデルフィアの法律事務所
World 9 は Sterling, Marsh & Associates LLP という架空の法律事務所で、2024年12月決算の締め作業が題材になっている。
会計システム（QuickBooks Online）からのエクスポートが7本。
- 勘定科目表、仕訳帳、AP請求書台帳、ベンダーマスタ
- 運営口座とIOLTA信託口座の銀行取引CSV
- Clio（法律事務所向けの請求システム）の請求エクスポート
残りの83本がワークペーパーと証憑類になる。
- QBO帳票：期首・期末の試算表、BS、PL、部門別PL、GL明細、AR年齢表
- 期末ワークペーパー：銀行照合、信託照合、未請求WIP、実現率分析、貸倒引当、前払保険、給与・PTO未払、パートナー資本ロールフォワード、年度末AJE一覧、立替費用台帳
- 業務データ：Clioのタイム記録CSV、Gustoの給与台帳、レートカード、契約書サマリー、顧客・案件リスト、スタッフ名簿、パートナー報酬表
- 証憑：契約弁護士の請求書21本、IOLTAと運営口座の月次銀行明細が各12本、過誤責任保険の証券PDF
ファイルの内訳は、スプレッドシート34本、PDF46本、会計システムのエクスポート10本。 これに加えて、タスク固有のファイルが16本ある。 コントローラーのメモ、上席のレビューノート、書きかけの照合表、契約の追補、メールのやりとり。
この「タスク固有のファイル」が曲者で、既に誰かがやった作業の痕跡が入っている。 そしてその作業には間違いが混ざっている。
依頼文は、実務で受けるままの短さ
一番軽いタスク（Task 30、見積0.75時間）はこうだ。
FY2024の期末売掛金の年齢別エクスポージャーを算定せよ。AR年齢表のワークペーパーを使い、年齢区分ごとのエクスポージャーを求めよ。 回答はコンソールに提示すること。エクスポージャーは%で、小数点以下2桁に丸めて示すこと。
渡されるファイルは2本だけ。模範解答も短い。
Current 72.80%
1-30 10.85%
31-60 2.04%
61-90 5.25%
>90 9.06%
重いほうはこうなる（Task 17、見積3.5時間）。
12月の給与費用を、Gustoの台帳とQBOの間でプラクティスグループ別に照合せよ。各グループの正しい合計を確定し、必要な修正仕訳を提案せよ。既に行われている照合作業の中にある不整合も含めて。
最後の一文が効いている。 渡される8ファイルの中には、前任者が作った照合表と、方法論を説明したメモと、やりとりのメールが入っている。 そこに仕込まれた誤りを見つけないと、数字が合わない。
模範解答はこうだ。
修正仕訳#1: $2,197.80 Dr 6000 Salaries-Associates / Cr 6010 Salaries-Of-Counsel
修正仕訳#2: $9.15 Dr 6000 Salaries-Associates / Cr 2100 Accrued Payroll
Litigation $210,900.93
Corporate-M&A $120,957.80
Real Estate $57,488.38
Firm $33,352.82
10タスクの内訳は、照合が4本（給与2本、AR、立替費用）、スケジュール・未払が3本、差異分析が2本、データ入力が1本。 見積時間は0.75時間から4時間まで散らばっている。
採点は「1つの数値が1つの基準」
採点基準の書き方が、実務の感覚に近くて面白い。
Task 17 の基準は6つで、1つめはこう書かれている。
stub accrual の誤りに対する修正仕訳が $2,197.80、Dr Salaries-Associates（または勘定 6000）、Cr Salaries-Of-Counsel（または勘定 6010）であると述べていること（許容範囲 $2,196.80〜$2,198.80）
数値ひとつにつき基準がひとつ。 許容範囲が±$1.00 で切られている。 勘定名でも勘定番号でも通る。
見ているのは最終的な出力だけで、そこに至る過程は採点されない。 だから「答えは合っているが説明が下手」でも減点されないし、「考え方は正しいが数字が1円ずれた」なら落ちる。
公開されている10タスクの基準は合計89個で、平均8.9個。 本番の160タスクでは合計2,186個、平均13.7個になる。
採点そのものはLLMにやらせている。 公開版では DeepSeek-v4-Flash を temperature 0.1 で回す設定になっていて、1タスクあたり500ステップ・500万トークンが上限。 Mercor は、このAI採点と専門家の採点が97%一致すると書いている。
誰が作ったか、今どこまで解けているか
タスクと採点基準を作ったのは、40人以上の会計プロフェッショナル。 経験年数の中央値が11年で、半数以上が大手監査法人の出身だという。
リーダーボードの上位はこうなっている。
| 順位 | モデル | スコア |
|---|---|---|
| 1 | Fable 5.1 | 61.0% ±3.7% |
| 2 | GPT-6 Astra | 60.0% ±3.9% |
| 3 | Fable 5 | 56.4% ±3.6% |
| 4 | Opus 5 | 54.0% ±3.9% |
| 5 | Muse Spark 1.1 | 52.6% ±3.6% |
スコアは「全タスクの採点基準のうち、何%を通過したかの平均」（Mean Criteria@3）。 満点のタスク数ではなく、基準の通過率で測る。部分点が積み上がる方式だ。
そして、いちばん重い数字がこれになる。
58% of the benchmark tasks are never fully solved by any model in any of its eight attempts
8回試行しても、どのモデルも一度も完答できないタスクが58%ある。
公開された10タスクでの成績も出ている
本番とは別に、公開されている dev セット10タスクでのスコアも併記されている。タスク単位の内訳は出ていないが、この10本をモデルがどれだけ解けるかは分かる。
| モデル | 本番160タスク | 公開10タスク | 差 |
|---|---|---|---|
| Claude-Fable-5 (Max) | 56.4% | 67.9% | +11.5 |
| Muse-Spark-1.1 (xHigh) | 52.6% | 52.4% | −0.2 |
| GPT-5.6-Sol (Max + Pro) | 51.5% | 62.3% | +10.8 |
| Claude-Opus-4.8 (Max) | 48.0% | 61.8% | +13.8 |
| GLM-5.2 (Max) | 42.7% | 44.1% | +1.4 |
| Grok-4.5 (High) | 40.8% | 51.1% | +10.3 |
| Kimi-K2.7-Code (High) | 37.0% | 38.0% | +1.0 |
| Gemini-3.1-Pro (High) | 32.4% | 37.0% | +4.6 |
| Qwen3.5-397B-Fp8 | 24.4% | 27.6% | +3.2 |
いちばん易しいワールドでも、最高が67.9%。基準の3割は落としている。
この2つの数字の差にも意味がある。上位モデルほど易しいワールドで大きく伸びる（+10〜14ポイント）のに対し、下位モデルはほとんど変わらない（+1前後）。難易度に反応できているかどうかが、そのまま差になっている。
なお公式には「dev セットの結果をリーダーボードのスコアとして報告するな」と注記がある。比較可能な数字ではない。
タスク別の成績は無い。カテゴリ別まではある
「どのタスクをどのモデルが解けたか」は、どこにも公表されていない。リーダーボードにも、HuggingFace のデータセットにも、評価ハーネスのリポジトリにも、論文にも無かった。
公表されている最小の粒度は、4カテゴリ別のスコア（論文 Table 4）。
| モデル | 照合 | データ入力 | 差異分析 | 明細・未払 |
|---|---|---|---|---|
| Claude-Fable-5 (Max) | 59.4% | 58.6% | 56.8% | 51.0% |
| Muse-Spark-1.1 (xHigh) | 52.8% | 57.9% | 57.2% | 46.4% |
| GPT-5.6-Sol (Max+Pro) | 55.3% | 52.4% | 50.2% | 46.5% |
| Claude-Opus-4.8 (Max) | 53.2% | 48.7% | 51.9% | 38.1% |
| GLM-5.2 (Max) | 44.1% | 50.0% | 51.7% | 31.0% |
| Grok-4.5 (High) | 47.4% | 38.4% | 45.5% | 30.2% |
| Kimi-K2.7-Code (High) | 40.5% | 40.1% | 44.3% | 25.9% |
| Gemini-3.1-Pro (High) | 34.6% | 28.9% | 36.2% | 28.9% |
| Qwen3.5-397B-FP8 | 28.5% | 20.9% | 24.9% | 20.6% |
明細作成・未払計上が、全モデルで最も低い。 首位でも51.0%で、下位は20%台まで落ちる。モデル間の落差もここが一番大きい。
期末の見積・按分・トゥルーアップのように、正解が資料のどこにも書いておらず、方針を決めてから計算する種類の仕事が弱い。逆に照合は、突き合わせる相手が資料にあるぶん点が出やすい。
何を間違えているのか
論文は失敗を7カテゴリ・39サブクラスに分類していて、結論が明快だった。
Reasoning failures dominate every profile: 79% of annotated failures for Claude-Fable-5, 75% for GPT-5.6-Sol, and 59% for Muse-Spark-1.1.
失敗の大半は推論の失敗で、上位モデルほどその比率が高い。情報を集められない、ツールを使えないといった手前の失敗は、すでに卒業しているということだ。
内訳はさらに具体的だ。
Non-numeric reasoning failures and data handling errors jointly account for just over half of all annotated failures
数値計算そのものではなく、「数値でない推論」と「データの扱い」で半分以上を落としている。
これは実務感覚と合う。割り算を間違えるのではなく、目の前のワークペーパーを信用してよいかどうかの判断で落ちている。
弱点は、人間の点数が無いこと
ここが引っかかったままだ。
最初に「例題が非公開なら意味がない」と思ったのは、半分は外れだった。 例題は出ている。
外れていなかったほうは、こちらだ。 人間の会計士が同じ条件で何%取れるかは、公表されていない。
論文にもリーダーボードにも、人間のベースラインは載っていない。 書かれているのは「専門家がタスクを作り、自分で解いて、採点基準を作った」ということだけだ。
作った本人が解けるのは当たり前なので、「人間なら解ける問題である」ことは構造上は担保されている。 だが、それは作問者の点数であって、第三者の点数ではない。
独立した会計士が、依頼文だけを渡され、ファイル一覧も手順も与えられない状態で座ったとき、何%取れるのか。 それが分からないと、61.0%という数字の意味が定まらない。 人間が90%なら、AIはまだ遠い。人間が50%なら、もう追い抜かれている。
同じことは58%という数字にも言える。 どのモデルも解けないタスクが、人間なら解けるのか。 それとも、そもそも情報が足りなくて誰にも解けないタスクなのか。
ベンチマークとしての設計は丁寧なのに、比較対象だけが空いている。
落とし方
CLIは要らない。ファイル一覧がAPIで取れるので、そこから直接落とせる。
# ファイル一覧（120ファイル・約4MB）
curl -sSL "https://huggingface.co/api/datasets/mercor/apex-accounting/tree/main?recursive=true" -o tree.json
# 10タスク分の依頼文・採点基準・模範解答だけなら、これ1本で足りる
curl -sSL -o dev.jsonl \
"https://huggingface.co/datasets/mercor/apex-accounting/resolve/main/data/dev.jsonl"
Python環境があるなら、HuggingFace のCLIでも落ちる。
hf download mercor/apex-accounting --repo-type dataset --local-dir apex-accounting
評価ハーネスのほうは Archipelago として別に公開されている。 エージェントを走らせて自動採点まで回したい場合はこちら。
自分で解くだけなら、ハーネスは要らない。
dev.jsonl の prompt と context_files だけを見て、rubric と gold_output は伏せておけばいい。
ファイルはxlsxとCSVとPDFなので、Excelでそのまま開ける。
実際に1問解いてみた
いちばん軽い Task 30（見積0.75時間）を開いた。依頼文はこれだけだ。
FY2024の期末売掛金の年齢別エクスポージャーを算定せよ。AR年齢表のワークペーパーを使い、年齢区分ごとのエクスポージャーを求めよ。%で、小数点以下2桁に丸めて示すこと。
渡されるファイルは2本。売掛金年齢表のワークペーパーと、期末試算表。
年齢表を開くと、案件32件×年齢区分5つの集計表がある。区分ごとに縦計して、総額で割る。それだけに見える。合計行にはSUM数式まで入っている。
素直にやると、5つの基準のうち2つを落とす。
年齢表のサマリーには、誤りが2か所仕込まれていた。
① 区分の振り分けミス。請求書 INV-2024-0125 の $24,259.74 が「1-30」の列に入っている。明細を見ると延滞日数は59日で、正しくは「31-60」だ。行の合計は変わらないので、右端の合計列を見ているだけでは気づかない。これで2区分の構成比がずれる。
② 金額の転記漏れ。案件 M-2024-0005 の Current 欄が $13,761.83。明細から集計すると $13,886.83 で、$125.00 足りない。
正解にたどり着くには、指示されていない2シート目の明細を自分で開き、延滞日数から区分を検算し、さらに試算表の売掛金残高（$1,729,138.00）と突き合わせて「明細が正、サマリーが誤り」と判定する必要がある。明細の合計は試算表とぴったり一致し、サマリーは$125.00 合わない。
依頼文は「AR年齢表のワークペーパーを使え」としか言わない。その言葉に素直に従うと間違える。書かれていないことをやらないと正解にならない設計になっている。
これが trap register の実物だ。そして、58%のタスクが8回試しても完答されない理由も、たぶんこの形をしている。
実務で言えば、前任者の作った照合表を検算せずに引き継いだ、という状況そのものだ。会計の知識ではなく、資料を疑う癖があるかどうかが問われている。
日本の実務からの距離
そのまま日本の税理士業務に当てはまるかというと、距離はある。
- 会計基準がUS GAAP
- 会計システムがQuickBooks Online
- IOLTA信託口座（米国の弁護士が預り金を置く口座）の照合が出てくる
- プラクティスグループ別の原価配賦や、成功報酬案件のホールドバックといった、米国の法律事務所固有の論点が混ざる
ただ、やっている作業そのものは変わらない。 散らかった帳簿と証憑を突き合わせて、前任者の誤りを見つけて、修正仕訳を起こす。 月次や年次の締めでやっていることと同じだ。
勘定科目名と基準の名前が英語なだけで、手つきは変わらない。
試すなら
一番軽いのは Task 30（AR年齢別エクスポージャー、ファイル2本、見積0.75時間）。 形式に慣れるならここから入るのがいい。
本番の感触が欲しいなら Task 17（給与照合、ファイル8本、見積3.5時間）。 前任者の作業に誤りが仕込まれているぶん、実務に近い。
採点基準は最後まで見ないほうがいい。 数値ひとつずつに基準が立っているので、先に見ると「何を出せば点が入るか」が分かってしまう。
参照