NTCIR-19 AgenticInstruction Task — Organiser Baseline Configuration: baseline-en-robust2004-fold1-splade Dataset: TREC Robust 2004 | IR model: Sparse Encoder (splade) LLM: gpt-oss-120b (Amazon Bedrock) | 5 iterations | default instructions Relevance: clicked + judged relevant by the LLM + qrels grade >= 1 ============================================================================== Topic Unique rel docs Recall Total tokens Total time (s) Progression 302 8 0.123 832133 118.4 7→8→8→8→8 303 1 0.100 117039 54.4 0→1→1→1→1 309 0 0.000 150369 50.1 0→0→0→0→0 316 2 0.059 226816 67.9 2→2→2→2→2 317 5 0.357 761605 117.6 4→5→5→5→5 319 5 0.029 2315131 271.2 3→4→4→5→5 323 9 0.148 1270339 141.6 7→8→9→9→9 331 13 0.061 891975 140.4 6→8→12→13→13 336 2 0.167 315257 83.0 1→2→2→2→2 341 7 0.090 747013 114.2 5→6→6→7→7 356 2 0.118 256609 68.3 2→2→2→2→2 357 3 0.011 439250 95.1 3→3→3→3→3 370 17 0.051 6084843 539.3 10→12→14→14→17 373 4 0.121 495621 86.0 3→3→4→4→4 378 3 0.031 484473 144.0 1→3→3→3→3 381 2 0.071 407736 81.2 2→2→2→2→2 383 5 0.034 1964858 195.3 4→5→5→5→5 392 4 0.038 1001692 156.2 4→4→4→4→4 394 4 0.235 427535 88.9 3→4→4→4→4 406 1 0.077 217576 44.7 1→1→1→1→1 410 16 0.246 1461173 207.4 10→15→15→16→16 411 5 0.185 691725 114.1 4→5→5→5→5 414 5 0.128 328442 98.0 3→3→4→4→5 426 5 0.025 384022 84.3 4→5→5→5→5 428 3 0.025 264587 59.9 2→2→3→3→3 433 1 0.077 121044 33.6 1→1→1→1→1 447 1 0.062 116271 37.0 1→1→1→1→1 448 5 0.109 305027 78.6 3→4→5→5→5 601 3 0.600 720763 118.9 3→3→3→3→3 607 3 0.273 637844 132.2 3→3→3→3→3 608 3 0.111 234111 63.5 2→2→2→3→3 612 5 0.294 598472 105.0 5→5→5→5→5 617 5 0.074 425686 121.3 4→5→5→5→5 619 4 0.190 1092722 199.1 4→4→4→4→4 635 7 0.368 1276589 166.4 7→7→7→7→7 641 8 0.163 1402240 240.2 7→7→7→7→8 642 6 0.154 798262 116.6 3→6→6→6→6 646 5 0.500 735777 121.9 1→2→2→4→5 647 6 0.182 424436 86.6 5→6→6→6→6 654 11 0.193 2684970 226.4 9→10→11→11→11 656 12 0.108 3620471 370.7 5→9→11→11→12 662 8 0.235 1161249 166.5 4→5→6→8→8 665 1 0.053 238961 64.7 1→1→1→1→1 669 3 0.130 1769274 267.8 3→3→3→3→3 670 7 0.292 992574 152.5 5→5→5→6→7 679 4 0.667 761304 114.6 4→4→4→4→4 684 1 0.024 269967 63.8 0→1→1→1→1 690 2 0.143 391714 71.9 1→1→2→2→2 692 3 0.111 308103 56.7 2→3→3→3→3 700 4 0.033 547889 108.9 2→4→4→4→4 Iteration Topics New rel docs Cum rel docs Cum recall Tokens 1 50 3.52 3.52 0.118 51164 2 50 0.78 4.30 0.137 125346 3 50 0.32 4.62 0.142 186653 4 50 0.20 4.82 0.149 235114 5 50 0.16 4.98 0.154 285194