NTCIR-19 AgenticInstruction Task — Organiser Baseline Configuration: baseline-en-robust2004-fold1-bm25 Dataset: TREC Robust 2004 | IR model: BM25 LLM: gpt-oss-120b (Amazon Bedrock) | 5 iterations | default instructions Relevance: clicked + judged relevant by the LLM + qrels grade >= 1 ============================================================================== Topic Unique rel docs Recall Total tokens Total time (s) Progression 302 7 0.108 1112058 188.1 7→7→7→7→7 303 2 0.200 244062 36.9 2→2→2→2→2 309 0 0.000 552994 102.9 0→0→0→0→0 316 1 0.029 125620 35.7 1→1→1→1→1 317 8 0.571 620638 93.4 7→8→8→8→8 319 11 0.065 1033204 153.7 4→8→10→11→11 323 0 0.000 37759 12.6 0→0→0→0→0 331 16 0.075 1112599 137.3 5→8→14→15→16 336 0 0.000 204600 82.8 0→0→0→0→0 341 7 0.090 581020 110.3 3→4→5→7→7 356 0 0.000 40050 17.7 0→0→0→0→0 357 6 0.022 635388 139.3 4→6→6→6→6 370 17 0.051 3038392 343.3 8→14→17→17→17 373 4 0.121 468973 82.7 3→4→4→4→4 378 0 0.000 1627860 246.1 0→0→0→0→0 381 2 0.071 218047 55.8 1→2→2→2→2 383 6 0.041 567116 137.3 3→5→6→6→6 392 2 0.019 603531 105.2 2→2→2→2→2 394 1 0.059 114721 32.4 1→1→1→1→1 406 1 0.077 155282 61.8 1→1→1→1→1 410 15 0.231 1500107 255.6 10→12→13→13→15 411 1 0.037 281814 74.6 1→1→1→1→1 414 3 0.077 153129 49.2 0→1→1→1→3 426 9 0.045 497829 85.9 6→9→9→9→9 428 3 0.025 494106 77.1 3→3→3→3→3 433 0 0.000 57205 21.7 0→0→0→0→0 447 2 0.125 793750 96.4 0→2→2→2→2 448 1 0.022 246898 58.1 1→1→1→1→1 601 3 0.600 642739 98.7 3→3→3→3→3 607 2 0.182 423983 87.2 1→2→2→2→2 608 3 0.111 266444 77.6 3→3→3→3→3 612 5 0.294 473712 121.0 2→3→5→5→5 617 3 0.044 255195 71.0 1→2→3→3→3 619 5 0.238 1098404 196.6 5→5→5→5→5 635 8 0.421 1239594 183.8 7→7→8→8→8 641 11 0.224 2586128 263.3 9→11→11→11→11 642 4 0.103 804020 149.8 1→4→4→4→4 646 3 0.300 299875 100.2 3→3→3→3→3 647 2 0.061 253918 88.8 2→2→2→2→2 654 12 0.211 1657361 205.5 7→8→12→12→12 656 13 0.117 2807426 280.2 10→10→12→13→13 662 6 0.176 729111 155.5 3→3→5→5→6 665 1 0.053 280775 64.8 1→1→1→1→1 669 0 0.000 927131 156.1 0→0→0→0→0 670 5 0.208 608454 95.3 5→5→5→5→5 679 4 0.667 940556 146.6 4→4→4→4→4 684 0 0.000 60218 23.0 0→0→0→0→0 690 1 0.071 198865 64.3 1→1→1→1→1 692 2 0.074 244142 64.8 2→2→2→2→2 700 4 0.033 116096 48.5 4→4→4→4→4 Iteration Topics New rel docs Cum rel docs Cum recall Tokens 1 50 2.94 2.94 0.101 32442 2 50 0.76 3.70 0.115 85906 3 50 0.52 4.22 0.124 137817 4 50 0.10 4.32 0.125 186158 5 50 0.12 4.44 0.127 238336