std::strtok

 

C++

コンパイラサポート

フリースタンディングとホスト

言語

標準ライブラリ

標準ライブラリヘッダー

名前付き要件

機能テストマクロ (C++20)

言語サポートライブラリ

コンセプトライブラリ (C++20)

診断ライブラリ

メモリ管理ライブラリ

メタプログラミングライブラリ (C++11)

汎用ユーティリティライブラリ

コンテナライブラリ

イテレータライブラリ

Rangesライブラリ (C++20)

アルゴリズムライブラリ

文字列ライブラリ

テキスト処理ライブラリ

数値ライブラリ

日付と時刻ライブラリ

入出力ライブラリ

ファイルシステムライブラリ (C++17)

並行サポートライブラリ (C++11)

実行制御ライブラリ (C++26)

Technical specifications (技術仕様)

シンボルインデックス

外部ライブラリ

 

テキスト処理ライブラリ

ローカライズライブラリ

正規表現ライブラリ (C++11)

フォーマットライブラリ (C++20)

ヌル終端シーケンスユーティリティ

バイト文字列

マルチバイト文字列

ワイド文字列

プリミティブな数値変換

to_chars (C++17) to_chars_result (C++17) from_chars (C++17) from_chars_result (C++17) chars_format (C++17)

テキストエンコーディング識別

text_encoding (C++26)

 

ヌル終端バイト文字列

関数
文字の分類
isalnum isalpha islower isupper isdigit isxdigit	isblank (C++11) iscntrl isgraph isspace isprint ispunct
文字操作
tolower	toupper
数値フォーマットへの変換
atof atoiatolatoll (C++11) strtolstrtoll (C++11)	strtoulstrtoull (C++11) strtofstrtodstrtold (C++11)(C++11) strtoimaxstrtouimax (C++11)(C++11)
文字列操作
strcpy strncpy strxfrm	strcat strncat
文字列検査
strlen strcmp strncmp strcoll strchr strrchr	strspn strcspn strpbrk strstr strtok
文字配列関数
memchr memcmp memset	memcpy memmove
その他
strerror

 

ヘッダー <cstring> で定義
char* strtok( char* str, const char* delim );

ヌル終端されたバイト文字列をトークン化する。

std::strtokの連続する呼び出しは、strが指す文字列をトークンのシーケンスに分割します。各トークンはdelimが指す文字列の文字によって区切られます。シーケンス内の各呼び出しには「検索対象」があります。

• strがヌルでない場合、その呼び出しはシーケンスにおける「最初の呼び出し」です。検索対象はstrが指すヌル終端されたバイト文字列です。
• strがヌルの場合、その呼び出しはシーケンスにおける「後続の呼び出し」の1つです。検索対象はシーケンス内の前の呼び出しによって決定されます。

シーケンス内の各呼び出しは、delimが指す「区切り文字文字列」に含まれていない最初の文字を検索対象で検索します。区切り文字文字列は呼び出しごとに異なる場合があります。

• そのような文字が見つからない場合、検索対象にはトークンがありません。シーケンス内の次の呼び出しの検索対象は変更されません。
• そのような文字が見つかった場合、それが現在のトークンの開始点です。std::strtokはそこから、区切り文字文字列に含まれる最初の文字を検索します。
  • そのような文字が見つからない場合、現在のトークンは検索対象の最後まで続きます。シーケンス内の次の呼び出しの検索対象は空文字列です。
  • そのような文字が見つかった場合、その文字はヌル文字で上書きされ、現在のトークンを終端します。シーケンス内の次の呼び出しの検索対象は、次の文字から始まります。

strまたはdelimがヌル終端されたバイト文字列へのポインタでない場合、動作は未定義です。

パラメータ

str	-	トークン化するヌル終端されたバイト文字列へのポインタ
delim	-	区切り文字を識別するヌル終端されたバイト文字列へのポインタ

戻り値

次のトークンの最初の文字へのポインタを返します。トークンがない場合はヌルポインタを返します。

備考

この関数は破壊的です。文字列strの要素に'\0'文字を書き込みます。特に、文字列リテラルをstd::strtokの最初の引数として使用することはできません。

この関数の各呼び出しは静的変数を変更するため、スレッドセーフではありません。

他のほとんどのトークナイザとは異なり、std::strtokの区切り文字は後続の各トークンで異なり、前のトークンの内容に依存することさえあります。

可能な実装

char* strtok(char* str, const char* delim) { static char* buffer;   if (str != nullptr) buffer = str;   buffer += std::strspn(buffer, delim);   if (*buffer == '\0') return nullptr;   char* const tokenBegin = buffer;   buffer += std::strcspn(buffer, delim);   if (*buffer != '\0') *buffer++ = '\0';   return tokenBegin; }

この関数の実際のC++ライブラリ実装はCライブラリに委譲されており、Cライブラリでは直接実装されている場合（MUSL libcなど）や、再入可能なバージョンとして実装されている場合（GNU libcなど）があります。

例

このコードを実行

#include <cstring>
#include <iomanip>
#include <iostream>
 
int main() 
{
    char input[] = "one + two * (three - four)!";
    const char* delimiters = "! +- (*)";
    char* token = std::strtok(input, delimiters);
    while (token)
    {
        std::cout << std::quoted(token) << ' ';
        token = std::strtok(nullptr, delimiters);
    }
 
    std::cout << "\nContents of the input string now:\n\"";
    for (std::size_t n = 0; n < sizeof input; ++n)
    {
        if (const char c = input[n]; c != '\0')
            std::cout << c;
        else
            std::cout << "\\0";
    }
    std::cout << "\"\n";
}

出力

"one" "two" "three" "four" 
Contents of the input string now:
"one\0+ two\0* (three\0- four\0!\0"

関連項目

strpbrk	区切り文字の集合の中からいずれかの文字が最初に出現する位置を見つける (関数)
strcspn	以下から成る最大の初期セグメントの長さを返す 別のバイト文字列に含まれない文字のみ (関数)
strspn	以下から成る最大の初期セグメントの長さを返す 別のバイト文字列に含まれる文字のみ (関数)
ranges::split_viewviews::split (C++20)	別のviewを区切り文字で分割して得られる部分rangeに対する view (クラステンプレート) (rangeアダプタオブジェクト)
strtokのCドキュメント