什麼是權杖？
權杖是藉由將輸入文字分割成較小區段而產生的小型文字區塊。 這些區段可以是單字或字元群組，長度從單一字元到整個單字不等。 例如，hamburger 這個字會分成 ham、bur 和 ger 等權杖，而像 pear 這樣短而常見的單字，則會被視為單一權杖。 大型語言模型（LLM），例如 GPT-3.5 或 GPT-4 會將文字分成令牌進行處理。
權杖是藉由將輸入文字分割成較小區段而產生的小型文字區塊。 這些區段可以是單字或字元群組，長度從單一字元到整個單字不等。 例如，hamburger 這個字會分成 ham、bur 和 ger 等權杖，而像 pear 這樣短而常見的單字，則會被視為單一權杖。 大型語言模型（LLM），例如 GPT-3.5 或 GPT-4 會將文字分成令牌進行處理。