NTCIR-19 AgenticInstruction Task — Organiser Baseline Configuration: baseline-ja-ntcir1-bm25 Dataset: NTCIR-1 AdHoc | IR model: BM25 LLM: gpt-oss-120b (Amazon Bedrock) | 5 iterations | default instructions Relevance: clicked + judged relevant by the LLM + qrels grade >= 1 ============================================================================== Topic Unique rel docs Recall Total tokens Total time (s) Progression 0001 10 0.035 947607 199.1 7→9→10→10→10 0002 3 0.158 300932 69.1 2→3→3→3→3 0003 0 0.000 602165 108.4 0→0→0→0→0 0004 13 0.351 827117 123.0 5→9→12→12→13 0005 1 0.077 121540 50.3 0→1→1→1→1 0006 9 0.129 891164 139.1 6→9→9→9→9 0007 0 0.000 246881 64.0 0→0→0→0→0 0008 9 0.360 942091 137.8 7→9→9→9→9 0009 0 0.000 174392 40.5 0→0→0→0→0 0010 13 0.236 830926 122.6 9→12→12→13→13 0011 2 0.333 726187 138.6 1→1→2→2→2 0012 15 0.217 773600 142.0 2→9→13→15→15 0013 2 0.054 243933 73.1 2→2→2→2→2 0014 9 0.029 743879 130.6 6→9→9→9→9 0015 4 0.200 286970 60.9 4→4→4→4→4 0016 3 0.600 255136 58.8 3→3→3→3→3 0017 4 0.267 564837 149.9 4→4→4→4→4 0018 14 0.085 1169583 186.8 3→8→11→14→14 0019 18 0.196 917901 165.9 7→13→17→17→18 0020 10 0.625 1130384 189.0 9→10→10→10→10 0021 1 0.091 143643 42.0 1→1→1→1→1 0022 8 0.099 621066 126.1 2→2→7→8→8 0023 10 0.102 815797 139.6 5→6→6→8→10 0024 9 0.057 445625 100.4 5→8→8→9→9 0025 13 0.591 1098067 148.9 10→12→12→13→13 0026 13 0.591 1199319 188.0 10→13→13→13→13 0027 4 0.174 594996 117.8 3→3→3→4→4 0028 14 0.009 1128991 167.4 4→4→12→14→14 0029 0 0.000 260280 63.6 0→0→0→0→0 0030 7 0.304 742124 788.7 4→6→7→7→7 0031 3 0.143 337660 183.8 2→3→3→3→3 0032 2 0.087 359498 83.2 2→2→2→2→2 0033 10 0.063 696660 150.4 8→10→10→10→10 0034 4 0.267 315093 83.7 4→4→4→4→4 0035 2 0.062 299824 80.1 2→2→2→2→2 0036 7 0.500 582097 106.6 6→7→7→7→7 0037 3 0.046 810655 122.7 3→3→3→3→3 0038 8 0.222 792427 793.5 8→8→8→8→8 0039 3 0.188 103137 51.3 3→3→3→3→3 0040 7 0.149 568226 96.0 3→7→7→7→7 0041 7 0.438 622062 130.5 5→7→7→7→7 0042 6 0.273 748041 158.6 2→4→6→6→6 0043 15 0.441 997886 342.4 9→15→15→15→15 0044 2 0.143 189127 62.9 2→2→2→2→2 0045 0 0.000 564911 135.7 0→0→0→0→0 0046 8 0.216 715902 212.8 4→6→7→8→8 0047 2 0.067 462663 95.9 2→2→2→2→2 0048 10 0.294 709888 170.1 6→8→9→10→10 0049 3 0.158 727226 124.8 2→3→3→3→3 0050 10 0.286 532442 97.6 1→7→9→10→10 0051 1 0.050 262253 67.5 1→1→1→1→1 0052 3 0.375 251879 51.5 2→2→3→3→3 0053 13 0.159 1290106 201.4 5→10→10→13→13 0054 10 0.017 708662 136.8 5→9→9→9→10 0055 4 0.100 409816 94.9 3→4→4→4→4 0056 9 0.132 773923 121.9 6→7→9→9→9 0057 16 0.086 1183039 149.7 9→16→16→16→16 0058 7 0.700 662264 106.8 6→6→6→7→7 0059 6 0.100 622686 120.2 5→5→5→5→6 0060 7 0.700 512209 84.0 4→5→6→7→7 0061 9 0.429 532479 106.8 6→9→9→9→9 0062 2 0.091 220538 51.4 2→2→2→2→2 0063 8 0.320 717401 132.8 5→6→8→8→8 0064 7 0.121 587688 117.9 5→7→7→7→7 0065 7 0.778 840953 236.3 7→7→7→7→7 0066 11 0.333 933536 162.8 7→11→11→11→11 0067 6 0.261 587449 96.3 5→6→6→6→6 0068 12 0.235 1112486 216.1 7→11→12→12→12 0069 5 0.417 478070 97.7 4→4→5→5→5 0070 12 0.109 991014 152.6 7→7→8→8→12 0071 2 0.154 197846 75.3 2→2→2→2→2 0072 7 0.350 793517 137.2 4→7→7→7→7 0073 3 0.300 421806 134.4 0→2→3→3→3 0074 1 0.059 155601 59.8 0→1→1→1→1 0075 3 0.214 309929 58.6 2→3→3→3→3 0076 3 0.176 337805 88.7 3→3→3→3→3 0077 3 0.500 310363 68.7 3→3→3→3→3 0078 4 0.667 415155 65.6 4→4→4→4→4 0079 7 0.700 907107 137.4 7→7→7→7→7 0080 1 0.100 141495 36.6 1→1→1→1→1 0081 2 0.250 378287 68.7 2→2→2→2→2 0082 5 0.556 509575 78.6 5→5→5→5→5 0083 9 0.290 1582930 213.1 8→9→9→9→9 Iteration Topics New rel docs Cum rel docs Cum recall Tokens 1 83 4.06 4.06 0.178 34536 2 83 1.45 5.51 0.217 82045 3 83 0.55 6.06 0.231 125929 4 83 0.27 6.33 0.238 166790 5 83 0.12 6.45 0.239 205427