NTCIR-19 AgenticInstruction Task — Organiser Baseline Configuration: baseline-en-robust2004-fold2-splade Dataset: TREC Robust 2004 | IR model: Sparse Encoder (splade) LLM: gpt-oss-120b (Amazon Bedrock) | 5 iterations | default instructions Relevance: clicked + judged relevant by the LLM + qrels grade >= 1 ============================================================================== Topic Unique rel docs Recall Total tokens Total time (s) Progression 301 10 0.022 1257986 169.9 3→7→9→9→10 308 1 0.250 121198 31.9 1→1→1→1→1 312 1 0.091 107609 28.5 1→1→1→1→1 322 1 0.029 117849 48.2 1→1→1→1→1 327 1 0.091 521847 96.1 0→0→0→0→1 328 3 0.375 261487 49.6 3→3→3→3→3 338 1 0.250 198754 57.4 1→1→1→1→1 343 2 0.008 177629 50.0 2→2→2→2→2 348 2 0.400 238751 55.5 1→1→2→2→2 349 2 0.027 555804 109.6 2→2→2→2→2 352 5 0.020 884532 163.5 5→5→5→5→5 360 3 0.020 329891 55.8 3→3→3→3→3 364 3 0.086 270397 60.1 2→2→3→3→3 365 6 0.171 820063 121.9 6→6→6→6→6 369 4 0.308 589155 100.4 3→4→4→4→4 371 1 0.059 335985 78.6 1→1→1→1→1 374 9 0.044 511461 87.6 4→6→6→7→9 386 0 0.000 540712 89.3 0→0→0→0→0 390 7 0.052 1411033 148.3 7→7→7→7→7 397 8 0.296 229647 59.3 7→8→8→8→8 403 0 0.000 274913 73.3 0→0→0→0→0 419 3 0.188 560455 111.3 2→3→3→3→3 422 18 0.118 1779227 188.5 10→16→18→18→18 423 8 0.381 2193066 199.0 8→8→8→8→8 424 1 0.006 105412 29.3 0→1→1→1→1 432 0 0.000 79965 31.8 0→0→0→0→0 434 11 0.032 1351951 163.9 9→9→9→10→11 440 3 0.056 556431 161.5 0→0→2→3→3 446 1 0.006 86288 51.3 0→0→1→1→1 602 8 0.095 1256779 182.0 5→8→8→8→8 604 3 0.375 271265 55.0 3→3→3→3→3 611 7 0.143 531317 90.3 5→6→6→7→7 623 7 0.184 2081980 171.3 4→5→7→7→7 624 5 0.278 1682050 247.8 3→5→5→5→5 627 5 0.179 483497 78.3 4→4→4→5→5 632 2 0.028 71269 33.5 2→2→2→2→2 638 1 0.029 712476 146.6 0→1→1→1→1 643 1 0.034 161432 40.3 1→1→1→1→1 651 5 0.132 1699824 176.4 3→5→5→5→5 652 1 0.014 131214 47.6 0→1→1→1→1 663 6 0.273 1025232 143.6 5→6→6→6→6 674 1 0.050 59720 26.1 1→1→1→1→1 675 4 0.160 398889 160.5 2→4→4→4→4 678 2 0.105 308599 59.5 2→2→2→2→2 680 2 0.083 299997 82.3 1→1→1→2→2 683 7 0.068 556077 110.5 5→7→7→7→7 688 2 0.012 945351 118.6 1→2→2→2→2 689 2 0.118 191773 60.7 2→2→2→2→2 695 6 0.067 649478 118.8 3→5→5→6→6 698 1 0.100 172045 38.1 1→1→1→1→1 Iteration Topics New rel docs Cum rel docs Cum recall Tokens 1 50 2.70 2.70 0.093 31185 2 50 0.70 3.40 0.107 76621 3 50 0.22 3.62 0.113 123824 4 50 0.14 3.76 0.116 164732 5 50 0.10 3.86 0.118 206833