0x01 前言
HTTP
分块传输（Chunked Transfer Encoding）是一种
HTTP
协议在数据传输时的编码格式，它允许将数据分成若干个块进行传输。每个传输的块都包含大小信息和实际的数据内容。让服务器发送大型文件或流数据时不必一开始就发送全部内容，而是可以分成一块一块的数据来发送。这样可以节省带宽和内存，特别是对于需要长时间连接的情况。
分块传输编码
HTTP/1.1200 OK
Content-Type: text/plain
Transfer-Encoding: chunked
25\r\n
This is the data in the first chunk.
\r\n
This is the second chunk in the response.
\r\n
The final chunk of data
\r\n
0\r\n
\r\n
在这个例子中，服务器使用
Transfer-Encoding: chunked
头部来告知客户端它将使用分块传输编码。响应的主体被分成多个块，每个块前面都有一个十六进制的数字标记其大小，紧跟着是十六进制的换行符
\r\n
。最后一个块的大小为
0
，表示数据已经结束，随后的
\r\n
是HTTP响应的最后的空行。
HTTP
分块传输常用于在不知道响应内容长度情况下传输数据。例如，当服务器需要生成大量数据或数据需要动态生成时，它可以使用
HTTP
分块传输来在响应正在生成时向客户端传输数据。
在
HTTP
分块传输中，每个块使用十六进制数表示的大小信息开头，并以
'\r\n'
换行符结束。该大小信息表示块包含的字节数。块的实际数据由该大小信息所指定的数量的字节组成，并以
'\r\n'
结束。最后一个块的大小信息为
0
，后面跟着一个空白的
'\r\n'
，表示所有的块都已传输完成。
HTTP
分块传输不仅适用于响应内容的传输，还可以用于请求数据的发送，在渗透的过程中，当我们遇到网站存在
waf
的情况，我们就可以利用
HTTP
分块传输来绕过
waf
的检测。
0x02 传输格式
HTTP分块传输是HTTP协议的一种数据编码方式，其传输格式如下：
chunk-size[chunk-extension]CRLF
chunk-dataCRLF
...
chunk-size[chunk-extension]CRLF
chunk-dataCRLF
0CRLF
footer1-name:footer1-valueCRLF
footer2-name:footer2-valueCRLF
CRLF
其中，
chunk-size
表示当前块的字节数，并以十六进制数字表示，
chunk-extension
可选，表示当前块的扩展信息，使用分号和值进行分隔。
CRLF
表示回车换行符。
chunk-data
表示当前块的数据内容。所有块的数据内容累加起来就是完整的实体正文。
最后一个长度为
0
的块表示传输结束。
在传输过程中，每个块都需要以
chunk-size
开始并加上后缀
CRLF
，接下来是
chunk-data
，最后也要以
CRLF
结束。
如果有多个块，则依次传输，每个块之间也要用
CRLF
分隔。
在所有块发送完成后，可以选择添加一个或多个实体报头字段，这些字段被称为报尾或尾部（
footers
）。报尾同样需要以
CRLF
结束。
总之，
HTTP
分块传输用于在
HTTP
协议中动态传输数据，其传输格式是由块大小和块数据组成，可以在数据生成过程中逐步传输数据，提高效率和安全性。
0x03 应用案例
客户端和服务端在进行
HTTP
分块传输时，需要注意以下几点：
客户端需要在请求头部添加
Transfer-Encoding: chunked，告知服务端使用分块传输方式。服务端需要在响应头部添加
Transfer-Encoding: chunked，告知客户端使用分块传输方式。服务端需要将所有数据按照块的格式进行封装并发送给客户端。
服务端
服务端使用
workerman/http-client
实现。
workerman/http-client
是一个异步http客户端组件。所有请求响应异步非阻塞，内置连接池，消息请求和响应符合PSR7规范。
使用 Moonshot 提供基于 HTTP 的 API 服务接入。【更多了解 】
安装
composer require workerman/http-client
发送HTTP分块Chunk数据
<?php
/**
* @desc HTTP分块Chunk传输响应给客户端
* @author Tinywan(ShaoBo Wan)
* @date 2024/3/21 22:53
*/
declare(strict_types=1);
require_once __DIR__. '/../vendor/autoload.php';
use Workerman\Connection\TcpConnection;
use Workerman\Http\Client;
use Workerman\Protocols\Http\Chunk;
use Workerman\Protocols\Http\Request;
use Workerman\Protocols\Http\Response;
use Workerman\Worker;
$worker = new Worker('http://0.0.0.0:8782/');
$worker->onMessage = function (TcpConnection $connection, Request $request) {
$http = new Client();
$http->request('https://api.moonshot.cn/v1/chat/completions', [
'method' => 'POST',
'data' => json_encode([
'model' => 'moonshot-v1-8k',
'stream' => true,
'messages' => [['role' => 'user', 'content' => 'PHP语言实现一个冒泡排序算法']],
]),
'headers' => [
'Content-Type' => 'application/json',
'Authorization' => 'Bearer sk-xxxxxxxxxxxxxxxx',
],
'progress' => function ($buffer) use ($connection) {
// 返回空的chunk代表响应结束
$connection->send(new Chunk($buffer));
},
'success' => function ($response) use ($connection) {
// 返回空的chunk代表响应结束
$connection->send(new Chunk(''));
},
]);
$response = new Response(200, [
'Transfer-Encoding' => 'chunked',
], '');
// 设置跨域问题
$response->header('Access-Control-Allow-Origin', '*');
$connection->send($response);
};
Worker::runAll();
运行服务
启动workerman提供服务
# php chunk.php start
Workerman[chunk.php] start in DEBUG mode
------------------------------------------- WORKERMAN --------------------------------------------
Workerman version:4.1.15 PHP version:7.4.27 Event-Loop:\Workerman\Events\Event
-------------------------------------------- WORKERS ---------------------------------------------
proto user worker listen processes status
tcp root none http://0.0.0.0:8782/ 1 [OK]
--------------------------------------------------------------------------------------------------
Press Ctrl+C to stop. Start success.
服务地址：
http://127.0.0.1:8782
客户端
<!DOCTYPE html>
<html>
<head>
<metacharset="UTF-8">
<title>开源技术小栈 Stream Chunked HTTP Data</title>
</head>
<body>
<h1>HTTP分块Chunk传输响应给客户端</h1>
<divid="data-container"></div>
<script>
// 定义接收数据的URL
const url = 'http://127.0.0.1:8782/';
// 发起请求并处理分块数据
functionfetchChunkedData() {
fetch(url, {
method: 'GET',
headers: {
'Accept': 'text/plain; chunks=true'// 某些服务器可能需要这个头来明确请求分块数据
}
})
.then(response => {
if (!response.ok) {
thrownewError('Network response was not ok ' + response.statusText);
}
return response.body;
})
.then(body => {
// 将ReadableStream转换为阅读器
const reader = body.getReader();
processChunks(reader);
})
.catch(error => {
console.error('There has been a problem with your fetch operation:', error);
});
}
// 处理分块数据
functionprocessChunks(reader) {
// 读取数据块
reader.read().then(({done, value}) => {
if (done) {
console.log('Stream complete');
return;
}
// 将Uint8Array转换为字符串
const chunk = new TextDecoder('utf-8').decode(value);
// 将数据块显示在页面上
const dataContainer = document.getElementById('data-container');
dataContainer.insertAdjacentHTML('beforeend', chunk);
// 递归读取下一个数据块
processChunks(reader);
});
}
// 调用函数开始获取数据
fetchChunkedData();</script>
</body>
</html>
效果
服务端输出
客户端输出
