Octoparse アドバンスド API ドキュメント

1.4.1. 新アクセストークンを取得する

新しいアクセストークンを取得するには、ユーザー名とパスワードが必要です。

{
    "access_token": "ABCD1234",      //アクセストークン
    "token_type": "bearer",		     //トークンタイプ
    "expires_in": 86399,		     //アクセストークンの有効期限（秒）（有効期限内に同じトークンを繰り返し使用することをお勧めします） 
    "refresh_token": "refresh_token" //認可コード（アクセストークンを更新する際に使用します）
}

HeaderName: Authorization
Value: bearer {access_token}

1.4.2. アクセストークンを更新する

アクセストークンの有効期限が切れると、ユーザーは「refresh_token」でアクセストークンを更新することができます。「Refresh Token」は、ユーザー名とパスワードに通じて新トークンを取得の方がより安全です。

注: 各「refresh_token」は一度しか使用できません。現在のリクエストから返された新「Refresh Token」は、次のリクエストに使用されるべきです。

2.1.1.すべてのタスクグループの情報をリストアップする

リクエスト

レスポンス

タスクグループ情報とリクエストステータスを含む JSON 形式のテキスト。

レスポンスのContent-Type

{
  "data": [
    {
      "taskGroupId": 1,
      "taskGroupName": "Example Task Group 1"
    },
    {
      "taskGroupId": 2,
      "taskGroupName": "Example Task Group 2"
    }
  ],
  "error": "success",
  "error_Description": "Action Success"
}

2.2.1.グループ内のタスク一覧を表示する

リクエスト

パラメーター

レスポンス

タスク ID(taskId)、タスク名(taskName)、ユーザー ID とリクエストステータスを含む JSON 形式のテキスト。

レスポンスのContent-Type

{
  "data": [
    {
      "taskId": "337fd7d7-aded-4081-9104-2b551161ccc8",
      "taskName": "Example Task 1",
      "creationUserId": "5d1e4b3c-645c-44ab-ac0e-bfa9ad600ece"
    },
    {
      "taskId": "4adf489b-f883-43fa-b958-0cfde945ddb7",
      "taskName": "Example Task 2",
      "creationUserId": "5d1e4b3c-645c-44ab-ac0e-bfa9ad600ece"
    }
  ],
  "error": "success",
  "error_Description": "Action Success"
}

2.2.2.タスクステータスを取得する

タスクのステータスを一括取得ことができます。

リクエスト

パラメーター

レスポンスのContent-Type

{
  "taskIdList": [
    "337fd7d7-aded-4081-9104-2b551161ccc8",
    "4adf489b-f883-43fa-b958-0cfde945ddb7"
  ]
}

レスポンス

タスクステータスコード： 0 = 実行中, 1 = 停止中, 2 = 実行完了, 3 = 実行待ち, 5 = 準備完了

レスポンスのContent-Type

{
  "data": [
    {
      "taskId": "337fd7d7-aded-4081-9104-2b551161ccc8",
      "taskName": "Example Task 1",
      "status": 1
    },
    {
      "taskId": "4adf489b-f883-43fa-b958-0cfde945ddb7",
      "taskName": "Example Task 2",
      "status": 2
    }
  ],
  "error": "success",
  "error_Description": "Action Success"
}

2.2.3.タスクパラメーターを取得する

これは特定のタスクのパラメーターを取得することができます。例として、「Webページを開く」アクションからのURL、「テキストを入力」アクションからのテキスト値、「ループアイテム」アクションからのテキストリスト / URL リストなどです。

リクエスト

パラメーター

レスポンス

タスクのパラメーターの値（または値の配列）とリクエストステータス。

レスポンスのContent-Type

{
  "data": [
    "http://www.octoparse.jp/",
    "http://www.skieer.com/"
  ],
  "error": "success",
  "error_Description": "Action Success"
}

2.2.4.タスクパラメーターを更新する

このメソッドを使用して、タスクパラメーターを更新します（現在は「Webページを開く」アクションからのURL、「テキストを入力」アクションからのテキスト値、「ループアイテム」アクションからのテキストリスト / URL リストの更新にのみ使用可能です）。

注：URL とテキスト値の場合は、文字列型を直接使用してください： "value":"navigateAction1.Url" 。N 個のテキストリスト / URL リストの値を更新する場合は、"value":['text1', 'text2', 'text3', 'textN'] を使用してください。

リクエスト

パラメーター

リクエストのContent-Type

{
  "taskId": "337fd7d7-aded-4081-9104-2b551161ccc8",
  "name": "loopAction2.TextList",
  "value": [
    "Octparse",
    "Skieer Infomation"
  ]
}

レスポンス

タスクパラメーターが正常に更新されたかどうかを表示されます。

レスポンスのContent-Type

{
  "error": "success",
  "error_Description": "Action Success"
}

2.2.5.タスクループリストに URL / テキストを追加する

このメソッドを使用して、既存のループに新しい URL / テキストを追加します。

注：N 個のテキストリスト / URL リストの値 (value) を更新する場合は、"value":['text1', 'text2', 'text3', 'textN'] を使用してください。

リクエスト

パラメーター

リクエストのContent-Type

{
  "taskId": "4adf489b-f883-43fa-b958-0cfde945ddb7",
  "name": "loopAction1.UrlList",
  "value": [
    "http://www.octoparse.jp/",
    "http://www.skieer.com/"
  ]
}

レスポンス

新パラメーター値が正常に追加されたかどうかを表示されます。

レスポンスのContent-Type

{
  "error": "success",
  "error_Description": "Action Success"
}

2.2.6.タスクの実行を開始する

リクエスト

パラメーター

レスポンス

ステータスコード （レスポンス内容の「data」パラメーター）：1 = 起動成功, 2 = タスク実行中, 5 = タスク設定エラー, 6 = アクセス拒否, 100 = その他のエラー

レスポンスのContent-Type

{
  "data": 1,
  "error": "success",
  "error_Description": "Action Success"
}

2.2.7.タスクの実行を停止する

リクエスト

パラメーター

レスポンス

タスクが正常に停止するかどうかを表示されます。

レスポンスのContent-Type

{
  "error": "success",
  "error_Description": "Action Success"
}

2.2.8.データをクリアする

リクエスト

パラメーター

レスポンス

データが正常にクリアされたかどうかを表示されます。

レスポンスのContent-Type

{
  "error": "success",
  "error_Description": "Action Success"
}

2.3.1.データをエクスポートする

エクスポートされていないデータをエクスポートします。データは、エクスポート後に（status=exported ではなく）status=exporting とタグ付けされます。この方法では、同じデータセットをこの方法で複数回エクスポートすることができます。データが正常に取得されていることを確認した後、データのステータスを「exported」に更新したい場合は、2.3.2 の手順でステータスの更新を行ってください。

注：エクスポートが中断された場合（ネットワークの接続中断など）、この方法を使用して再度データをエクスポートしてください。

リクエスト

パラメーター

レスポンス

データとリクエスト状態

レスポンスのContent-Type

{
  "data": {
    "total": 100000,
    "currentTotal": 4,
    "dataList": [
      {
        "State": "Texas",
        "City": "Plano"
      },
      {
        "State": "Texas",
        "City": "Houston"
      },
      {
        "State": "Texas",
        "City": "Austin"
      },
      {
        "State": "Texas",
        "City": "Arlington"
      }
    ]
  },
  "error": "success",
  "error_Description": "Action Success"
}

2.3.2.データの状態を更新する

これにより、データの状態が「exporting（抽出中）」から「exported（抽出完了）」に更新されます。

注：API「タスクデータのエクスポート」(api/notexportdata/gettop)からエクスポートされたデータが正常に取得されていることを確認した上で、この方法を使用してください。

リクエスト

パラメーター

レスポンス

タスクの状態が正常に変更されたかどうかを表示されます。

レスポンスのContent-Type

{
  "error": "success",
  "error_Description": "Action Success"
}

2.4.1.オフセットによるデータを取得する

このメソッドには、リクエストにはオフセット、サイズ、タスク ID などのパラメーターが必要です。 オフセットのデフォルト値は 0 (offset=0)、サイズは size∈[1,1000] とします。返されたオフセット（offset > 0）は、次のリクエストに使用されます。 例として、タスクは 1000 行のデータがある場合、パラメーター：offset = 0, size = 100 を使用すると、最初の 100 行のデータとオフセット x（x は必ずしも 100 とは限らない）が返されます。 2 回目のリクエストを行う場合、最初のリクエストから返されたオフセット、offset = X, size = 100 を使用して、 次の 100 行のデータ（101 行目から 200 行目まで）を取得し、次のオフセット offset=x1 も返されました。x1 を次の開始オフセットとして使用する、というようにしています。

注：この方法はデータを取得するためだけに使用されますが、データの状態には影響しません。（エクスポートされていないデータはエクスポートされていない状態のままになります）

リクエスト

パラメーター

レスポンス

データとリクエスト状態

レスポンスのContent-Type

{
  "data": {
    "offset": 4,
    "total": 100000,
    "restTotal": 99996,
    "dataList": [
      {
        "State": "Texas",
        "City": "Plano"
      },
      {
        "State": "Texas",
        "City": "Houston"
      },
      {
        "State": "Texas",
        "City": "Austin"
      },
      {
        "State": "Texas",
        "City": "Arlington"
      }
    ]
  },
  "error": "success",
  "error_Description": "Action Success"
}