NTCIR-19 AgenticInstruction Task — Organiser Baseline Configuration: baseline-ja-ntcir1-splade Dataset: NTCIR-1 AdHoc | IR model: Sparse Encoder (splade) LLM: gpt-oss-120b (Amazon Bedrock) | 5 iterations | default instructions Relevance: clicked + judged relevant by the LLM + qrels grade >= 1 ============================================================================== Topic Unique rel docs Recall Total tokens Total time (s) Progression 0001 18 0.062 1275184 156.6 6→15→17→17→18 0002 3 0.158 280410 63.7 2→3→3→3→3 0003 2 0.143 949261 177.7 2→2→2→2→2 0004 10 0.270 995860 143.9 3→8→9→9→10 0005 1 0.077 128775 58.3 1→1→1→1→1 0006 12 0.171 667157 181.0 3→5→7→12→12 0007 0 0.000 414996 101.2 0→0→0→0→0 0008 9 0.360 352858 71.8 8→9→9→9→9 0009 0 0.000 323275 88.7 0→0→0→0→0 0010 9 0.164 479643 108.3 7→8→9→9→9 0011 2 0.333 274304 54.5 2→2→2→2→2 0012 11 0.159 510281 111.0 5→8→8→11→11 0013 1 0.027 196999 73.7 1→1→1→1→1 0014 14 0.046 721851 136.1 7→11→14→14→14 0015 4 0.200 394552 81.0 1→3→4→4→4 0016 2 0.400 115325 42.3 1→2→2→2→2 0017 0 0.000 480649 114.4 0→0→0→0→0 0018 5 0.030 1107250 142.6 3→4→5→5→5 0019 11 0.120 384808 86.9 10→11→11→11→11 0020 9 0.562 1143407 171.3 9→9→9→9→9 0021 1 0.091 120932 34.6 1→1→1→1→1 0022 5 0.062 590471 88.9 3→3→5→5→5 0023 7 0.071 279584 65.9 4→5→6→7→7 0024 4 0.025 401006 82.0 2→2→3→4→4 0025 10 0.455 1001326 119.4 6→10→10→10→10 0026 11 0.500 1208907 186.0 10→10→10→10→11 0027 4 0.174 411165 102.1 3→4→4→4→4 0028 4 0.003 596857 107.6 3→3→4→4→4 0029 1 0.006 274213 91.3 1→1→1→1→1 0030 6 0.261 1109590 312.8 6→6→6→6→6 0031 4 0.190 399665 76.1 2→4→4→4→4 0032 1 0.043 574915 143.6 0→0→0→0→1 0033 4 0.025 399382 73.0 4→4→4→4→4 0034 2 0.133 160227 41.5 0→2→2→2→2 0035 1 0.031 132013 38.1 1→1→1→1→1 0036 6 0.429 309116 81.8 5→6→6→6→6 0037 0 0.000 466136 84.0 0→0→0→0→0 0038 5 0.139 551982 107.4 5→5→5→5→5 0039 1 0.062 129599 41.3 1→1→1→1→1 0040 2 0.043 185742 77.5 1→1→1→2→2 0041 6 0.375 730347 140.8 4→5→6→6→6 0042 3 0.136 519392 132.9 3→3→3→3→3 0043 10 0.294 361984 90.3 9→10→10→10→10 0044 2 0.143 152390 50.8 2→2→2→2→2 0045 0 0.000 424594 114.2 0→0→0→0→0 0046 4 0.108 489668 104.7 2→3→4→4→4 0047 2 0.067 349038 98.3 1→1→2→2→2 0048 1 0.029 119643 37.1 1→1→1→1→1 0049 1 0.053 612723 127.6 1→1→1→1→1 0050 10 0.286 646019 103.2 9→10→10→10→10 0051 2 0.100 275502 65.2 1→1→2→2→2 0052 4 0.500 432767 91.9 4→4→4→4→4 0053 12 0.146 1054007 233.0 7→12→12→12→12 0054 9 0.016 755379 130.8 6→9→9→9→9 0055 2 0.050 266538 98.5 2→2→2→2→2 0056 6 0.088 263720 71.1 4→6→6→6→6 0057 13 0.070 872901 139.7 7→8→11→13→13 0058 2 0.200 149412 43.0 2→2→2→2→2 0059 4 0.067 600120 179.7 4→4→4→4→4 0060 2 0.200 166225 59.8 1→1→2→2→2 0061 7 0.333 712198 123.7 4→5→7→7→7 0062 5 0.227 380562 109.8 3→5→5→5→5 0063 5 0.200 806787 153.3 4→5→5→5→5 0064 10 0.172 783060 121.8 7→9→9→9→10 0065 3 0.333 260728 51.1 2→3→3→3→3 0066 4 0.121 339612 68.5 3→4→4→4→4 0067 12 0.522 1108001 168.9 8→9→11→12→12 0068 9 0.176 860169 169.0 7→8→8→8→9 0069 3 0.250 347750 81.3 3→3→3→3→3 0070 11 0.100 845056 141.8 7→7→10→11→11 0071 2 0.154 239193 82.1 2→2→2→2→2 0072 5 0.250 413957 96.9 1→3→5→5→5 0073 2 0.200 423013 120.2 0→2→2→2→2 0074 0 0.000 123150 52.9 0→0→0→0→0 0075 4 0.286 400904 77.8 2→4→4→4→4 0076 3 0.176 274853 157.1 3→3→3→3→3 0077 4 0.667 388617 72.5 4→4→4→4→4 0078 6 1.000 529218 83.4 5→6→6→6→6 0079 8 0.800 766893 152.3 7→8→8→8→8 0080 1 0.100 87758 32.5 1→1→1→1→1 0081 2 0.250 281736 77.0 1→2→2→2→2 0082 2 0.222 185899 53.0 2→2→2→2→2 0083 4 0.129 458737 79.8 2→4→4→4→4 Iteration Topics New rel docs Cum rel docs Cum recall Tokens 1 83 3.34 3.34 0.141 28577 2 83 0.94 4.28 0.174 64804 3 83 0.40 4.67 0.184 97058 4 83 0.18 4.86 0.186 131479 5 83 0.07 4.93 0.188 169165