fix token count

Author: mo374z

promptolution/tasks/base_task.py

@@ -216,7 +216,7 @@ def _compute_costs(
         per_prompt_outputs: List[np.ndarray] = []
 
         for prompt in prompts:
-            prompt_tokens = token_counter(prompt.construct_prompt())
+            prompt_token_count = token_counter(prompt.construct_prompt())
             seq_token_counts: List[float] = []
             input_token_counts = []
             for x, y in zip(xs, ys):
@@ -228,9 +228,9 @@ def _compute_costs(
                     continue
                 seq_text = self.seq_cache[cache_key]
                 seq_token_counts.append(token_counter(seq_text))
-                input_token_counts.append(token_counter(prompt.construct_prompt() + " " + x))
+                input_token_counts.append(token_counter(x))
 
-            prompt_input_tokens = prompt_tokens + np.array(input_token_counts, dtype=float)
+            prompt_input_tokens = np.array(input_token_counts, dtype=float) + prompt_token_count
             output_token_counts = np.array(seq_token_counts, dtype=float) - np.array(input_token_counts, dtype=float)
 
             per_prompt_inputs.append(np.asarray(prompt_input_tokens, dtype=float))