NTCIR-19 AgenticInstruction Task — Organiser Baseline Configuration: baseline-en-robust2004-fold2-bm25 Dataset: TREC Robust 2004 | IR model: BM25 LLM: gpt-oss-120b (Amazon Bedrock) | 5 iterations | default instructions Relevance: clicked + judged relevant by the LLM + qrels grade >= 1 ============================================================================== Topic Unique rel docs Recall Total tokens Total time (s) Progression 301 10 0.022 961690 139.1 4→6→9→10→10 308 1 0.250 112794 40.3 1→1→1→1→1 312 1 0.091 127147 37.7 1→1→1→1→1 322 7 0.206 319704 75.1 2→5→7→7→7 327 6 0.545 1153718 180.7 4→5→6→6→6 328 4 0.500 766365 104.0 4→4→4→4→4 338 1 0.250 487495 114.4 1→1→1→1→1 343 7 0.027 622843 85.6 3→6→7→7→7 348 2 0.400 154669 43.8 1→2→2→2→2 349 9 0.123 713809 138.7 1→5→7→8→9 352 12 0.049 1626646 211.5 4→8→11→12→12 360 4 0.026 635081 791.8 3→3→4→4→4 364 4 0.114 273457 61.4 4→4→4→4→4 365 8 0.229 601230 101.1 8→8→8→8→8 369 3 0.231 454900 82.7 2→3→3→3→3 371 2 0.118 244084 69.1 1→1→1→1→2 374 10 0.049 847360 141.0 4→5→9→9→10 386 0 0.000 672200 121.0 0→0→0→0→0 390 11 0.082 2360145 220.9 10→11→11→11→11 397 1 0.037 215952 70.8 1→1→1→1→1 403 2 0.095 209160 61.5 2→2→2→2→2 419 2 0.125 141541 52.7 1→2→2→2→2 422 12 0.079 1453102 355.7 9→12→12→12→12 423 9 0.429 1766903 172.4 9→9→9→9→9 424 7 0.041 513971 95.4 4→5→7→7→7 432 0 0.000 41208 22.0 0→0→0→0→0 434 8 0.023 816259 106.4 1→8→8→8→8 440 0 0.000 581458 116.6 0→0→0→0→0 446 2 0.012 186985 74.7 1→2→2→2→2 602 11 0.131 1302428 173.3 5→8→11→11→11 604 3 0.375 227402 62.7 3→3→3→3→3 611 5 0.102 527032 107.3 2→3→5→5→5 623 5 0.132 1450281 216.8 3→5→5→5→5 624 8 0.444 1238608 132.4 4→7→8→8→8 627 2 0.071 377622 88.0 0→2→2→2→2 632 5 0.070 467796 85.2 1→3→5→5→5 638 2 0.057 289809 79.4 2→2→2→2→2 643 2 0.069 340891 73.5 1→2→2→2→2 651 4 0.105 1443320 176.0 2→4→4→4→4 652 2 0.027 246743 63.9 2→2→2→2→2 663 3 0.136 236561 82.0 2→2→3→3→3 674 0 0.000 38676 16.0 0→0→0→0→0 675 4 0.160 446715 87.5 3→4→4→4→4 678 1 0.053 172745 52.6 1→1→1→1→1 680 2 0.083 228777 70.0 0→0→0→1→2 683 4 0.039 321946 86.1 2→3→4→4→4 688 8 0.050 449868 90.2 5→8→8→8→8 689 3 0.176 296406 78.1 1→2→3→3→3 695 5 0.056 715325 97.6 4→5→5→5→5 698 2 0.200 328808 59.8 2→2→2→2→2 Iteration Topics New rel docs Cum rel docs Cum recall Tokens 1 50 2.62 2.62 0.095 26079 2 50 1.14 3.76 0.120 73818 3 50 0.60 4.36 0.130 119022 4 50 0.08 4.44 0.131 169218 5 50 0.08 4.52 0.134 216056