К содержимому
Войти

Python Road Map

📡 HTTP: методы, коды и версии

HTTP — язык, на котором бэкенд разговаривает с браузером, мобильным приложением и другими сервисами. Метод решает, можно ли повторить запрос после обрыва. Код ответа решает, что сделает клиент и закэширует ли ответ прокси. А от версии протокола зависит, сколько соединений держит сервис и где у него задержки. На собеседовании про HTTP спрашивают почти всегда: идемпотентность, разница 401 и 403, чем HTTP/2 лучше HTTP/1.1 и зачем HTTP/3

🧠 Как это устроено

Запрос — это метод, адрес ресурса, заголовки и необязательное тело. Ответ — код статуса, заголовки и тело. Смысл методов, кодов и заголовков описан в RFC 9110 и одинаков во всех версиях протокола. Версии отличаются только тем, как эти сообщения едут по сети. Поэтому разговор про HTTP удобно делить на две части: семантика и транспорт

Методы: безопасные и идемпотентные

У метода два свойства, которые важнее его названия:

  • Безопасный метод по смыслу только читает и ничего не меняет на сервере. Это GET, HEAD, OPTIONS и TRACE. Поисковый робот или префетч браузера может дёрнуть такую ссылку, и ничего не случится. Если GET /orders/5?do=delete удаляет заказ, первый же краулер почистит базу
  • Идемпотентный метод даёт тот же эффект, сколько раз его ни повтори. Это все безопасные методы плюс PUT и DELETE. Второй DELETE /orders/5 заказ уже не удалит, второй PUT запишет то же самое
МетодЗачемБезопасныйИдемпотентный
GETПолучить ресурсДаДа
HEADТо же без тела, только заголовкиДаДа
POSTСоздать или выполнить действиеНетНет
PUTЗаменить ресурс целикомНетДа
PATCHИзменить часть ресурсаНетНет по стандарту
DELETEУдалитьНетДа
OPTIONSУзнать, что разрешено, в том числе для CORSДаДа

Идемпотентность нужна не для красоты. Идемпотентный запрос можно повторить автоматически, если соединение оборвалось до ответа. Клиент не знает, дошёл запрос или нет, и для GET или PUT ему это неважно. Для POST повтор может создать второй заказ или списать деньги дважды. Транспорт Go так и поступает: на переиспользованном соединении, которое сервер закрыл, он сам повторит GET, HEAD, OPTIONS и TRACE, а POST повторит, только если в запросе есть заголовок Idempotency-Key и тело можно перечитать

PATCH по RFC 5789 не идемпотентен: «увеличь счётчик на 1» при повторе даст другой результат. Но PATCH, который ставит поле в конкретное значение, на деле идемпотентен. Это и надо сказать на собеседовании: свойство зависит от того, как ты спроектировал запрос

Коды ответов

Первая цифра кода задаёт класс ответа. 1xx значит промежуточный ответ, 2xx успех, 3xx редирект или «бери из кэша», 4xx ошибку клиента, 5xx ошибку сервера. Граница между 4xx и 5xx практическая: 4xx повторять без изменений бесполезно, 5xx иногда имеет смысл повторить. На этом строятся ретраи и алерты

Коды, которые спрашивают чаще всего:

КодЧто значитКогда отдают
200 OKУспех с теломОбычный ответ
201 CreatedРесурс созданPOST создал объект, в Location его адрес
204 No ContentУспех без телаDELETE или PUT, когда возвращать нечего
301 и 308Ресурс переехал навсегдаСмена адреса, HTTP → HTTPS
302 и 307Временно в другом местеРедирект после логина
304 Not ModifiedНе изменился, бери из кэшаОтвет на условный запрос с If-None-Match
400 Bad RequestЗапрос не разобратьБитый JSON, нет обязательного поля
401 UnauthorizedНе знаем, кто тыНет токена или он истёк
403 ForbiddenЗнаем, кто ты, но нельзяНет прав на ресурс
404 Not FoundРесурса нетНеверный id
409 ConflictКонфликт с текущим состояниемТакой email уже занят
422 Unprocessable ContentJSON корректный, но смысл неверныйДата окончания раньше даты начала
429 Too Many RequestsПревышен лимитRate limit, в Retry-After — когда можно снова
500 Internal Server ErrorСервер упал на запросеПаника, необработанная ошибка
502 и 504Прокси не получил ответ от сервисаСервис лежит или не успел за таймаут прокси
503 Service UnavailableСервис временно не принимает запросыПерегрузка, деплой

Пары 301/308 и 302/307 различаются одним: что станет с методом. По историческим причинам браузер после 301 и 302 вправе превратить POST в GET и потерять тело. 307 и 308 запрещают менять метод. Если форма отправляет POST на старый адрес, редиректить её нужно через 308, а не 301

Заголовки и кэширование

Из заголовков чаще всего спрашивают про кэширование, его описывает отдельный RFC 9111

Сервер управляет кэшем через Cache-Control:

  • max-age=3600 — ответ свежий час, все кэши могут отдавать его без запроса к серверу
  • private — можно хранить только в браузере пользователя, не в CDN. Для всего, где есть личные данные
  • no-cache — хранить можно, но перед каждым использованием спроси сервер, не изменилось ли
  • no-store — не хранить вообще нигде. Для ответов с паролями, токенами, платёжными данными

no-cache и no-store путают постоянно. no-cache не запрещает кэш, а заставляет его проверять. Проверка идёт через условный запрос: сервер отдал ETag: "v1" (метку версии ресурса), клиент в следующий раз шлёт If-None-Match: "v1". Если версия та же, сервер отвечает 304 без тела, и клиент берёт копию из кэша

Если сервер не прислал ни Cache-Control, ни Expires, кэш может сам решить, сколько хранить ответ. Стандарт называет такие коды эвристически кэшируемыми: среди них 200, 301, 404 и 405. Типичная эвристика — 10% от времени с Last-Modified. Отсюда баг, когда после деплоя пользователи часами видят старую страницу: сервер просто не сказал, как её кэшировать

Версии: HTTP/1.1, HTTP/2, HTTP/3

HTTP/1.1 — текстовый протокол. Запрос — строки вида GET /users HTTP/1.1 и заголовки, разделённые \r\n. По одному соединению запросы идут строго по очереди: следующий ответ не придёт, пока не пришёл предыдущий. Один медленный ответ задерживает всё, что стоит за ним. Это блокировка очереди на уровне HTTP. Браузеры обходят её, открывая до шести соединений на хост, сервисы — пулом соединений

HTTP/2 оставил ту же семантику, но поменял упаковку:

  • Бинарные фреймы. Сообщение режется на фреймы HEADERS и DATA, каждый с номером потока. Разбирать их быстрее и надёжнее, чем текст
  • Мультиплексирование. Каждый запрос — отдельный поток внутри одного TCP-соединения. Фреймы разных потоков перемешиваются, и медленный ответ больше не держит остальные. RFC советует разрешать не меньше 100 одновременных потоков
  • Сжатие заголовков HPACK. Заголовки повторяются из запроса в запрос: cookie, user-agent, authorization. HPACK держит на обеих сторонах таблицу уже отправленных заголовков и передаёт вместо повтора короткий индекс
  • Без заголовков соединения. Connection, Keep-Alive, Transfer-Encoding в HTTP/2 запрещены, а метод, путь и хост едут псевдозаголовками :method, :path, :authority. Имена заголовков в HTTP/2 пишутся только строчными буквами, поэтому в логах gRPC видно content-type, а не Content-Type

Server push из HTTP/2 на практике не прижился, рассказывать про него как про главную фичу не стоит

У HTTP/2 осталась одна старая проблема. Все потоки едут по одному TCP-соединению, а TCP отдаёт байты строго по порядку. Потерялся один пакет — стоят все потоки, пока его не переотправят. Подробно это разобрано на странице «TCP и UDP»

HTTP/3 решает её, переехав с TCP на QUIC поверх UDP. QUIC сам доставляет данные каждого потока отдельно, и потеря пакета тормозит только свой поток. Рукопожатие QUIC совмещено с TLS 1.3, поэтому новое соединение экономит один RTT. HPACK заменили на QPACK: HPACK рассчитывал, что фреймы приходят по порядку, а в QUIC этого больше нет. Браузер узнаёт, что сервер умеет HTTP/3, из заголовка Alt-Svc или DNS-записи и пробует его, а при неудаче откатывается на HTTP/2

HTTP/1.1HTTP/2HTTP/3
ФорматТекстБинарные фреймыБинарные фреймы
ТранспортTCPTCPQUIC поверх UDP
Запросов на соединение одновременноОдинМногоМного
Блокировка очередиНа уровне HTTP и TCPТолько TCPНет
Сжатие заголовковНетHPACKQPACK
ШифрованиеНе обязательноБраузеры — только с TLSВсегда TLS 1.3

🛠️ На практике

В Go net/http говорит на HTTP/1.1 и HTTP/2 сам. Сервер с TLS включает HTTP/2 без настроек, http.Client тоже. Без TLS HTTP/2 можно включить с Go 1.24 через поле Protocols и UnencryptedHTTP2, это нужно для gRPC внутри кластера. HTTP/3 в стандартной библиотеке пока нет, его берут из библиотеки quic-go

Пример поднимает тестовый сервер с HTTP/2 и делает два запроса: обычный и условный с If-None-Match. http.ServeContent сам сравнивает ETag и отвечает 304:

Go · ETag и ответ 304 по HTTP/2

func main() {
	body := `{"id":42,"name":"Go Road Map"}`
	srv := httptest.NewUnstartedServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
		w.Header().Set("ETag", `"v1"`)
		w.Header().Set("Cache-Control", "no-cache")
		// ServeContent сам сравнит If-None-Match с ETag и ответит 304
		http.ServeContent(w, r, "", time.Time{}, strings.NewReader(body))
	}))
	srv.EnableHTTP2 = true
	srv.StartTLS()
	defer srv.Close()

	client := srv.Client()
	resp, _ := client.Get(srv.URL)
	resp.Body.Close()
	fmt.Println(resp.Proto, resp.StatusCode, resp.Header.Get("ETag"), resp.ContentLength)

	req, _ := http.NewRequest("GET", srv.URL, nil)
	req.Header.Set("If-None-Match", `"v1"`)
	resp, _ = client.Do(req)
	resp.Body.Close()
	fmt.Println(resp.Proto, resp.StatusCode, resp.ContentLength)
}
HTTP/2.0 200 "v1" 30
HTTP/2.0 304 0

Первый ответ пришёл с телом в 30 байт, второй — 304 без тела. В настоящем сервисе ETag считают из версии записи в базе или хеша ответа

Версию протокола и заголовки чужого сервиса быстро смотрят через curl:

# только заголовки ответа и версия протокола
curl -sI https://go.dev
# какой протокол согласовался
curl -s -o /dev/null -w '%{http_version}\n' https://go.dev

⚠️ Где ошибаются

  • Отдают 200 с ошибкой в теле. {"error": "not found"} с кодом 200 ломает всё, что смотрит на код: ретраи, алерты, кэши, метрики ошибок. CDN ещё и закэширует такую «удачу». Код ответа должен говорить правду
  • Меняют данные через GET. Ссылка /unsubscribe?id=5 срабатывает, когда почтовый сервис проверяет ссылки в письме или браузер делает префетч. Действие с последствиями — только POST, PUT, PATCH или DELETE
  • Ретраят POST без ключа идемпотентности. Клиент получил таймаут и повторил оплату, а первый запрос на самом деле прошёл. Для неидемпотентных запросов нужен Idempotency-Key, и сервер должен его проверять. Подробно — в модуле про микросервисы
  • Путают 401 и 403. 401 — «представься», клиент должен залогиниться или обновить токен. 403 — «ты известен, но нельзя», обновление токена не поможет. Если отдавать 401 на нехватку прав, фронтенд будет бесконечно обновлять токен
  • Ставят no-cache там, где нужен no-store. Ответ с персональными данными и no-cache всё равно сохранится на диск браузера. Чтобы не хранился, нужен no-store, а для CDN — минимум private

🎯 Вопросы с собеседований

Что такое идемпотентность и какие методы идемпотентны?

Метод идемпотентен, если повтор запроса даёт тот же эффект на сервере, что и один запрос. По стандарту это GET, HEAD, OPTIONS, TRACE, PUT и DELETE. POST и PATCH — нет. Практический смысл в том, что идемпотентный запрос можно безопасно повторить после обрыва соединения, не зная, дошёл ли первый. Для POST то же самое делают ключом идемпотентности: сервер запоминает ключ и на повтор возвращает сохранённый результат

Чем PUT отличается от PATCH и от POST?

PUT заменяет ресурс целиком по известному адресу, поэтому идемпотентен. PATCH меняет часть ресурса и по стандарту не идемпотентен, хотя PATCH «поставь поле в значение» на деле повторять безопасно. POST создаёт ресурс, адрес которого выбирает сервер, или запускает действие, и повтор создаст второй объект. Отсюда правило: ретраить PUT можно, POST — только с ключом идемпотентности

Чем 401 отличается от 403?

401 значит, что сервер не знает, кто сделал запрос: нет токена, он истёк или неверный. Клиенту нужно аутентифицироваться, и сервер обязан приложить WWW-Authenticate. 403 значит, что пользователь известен, но прав на ресурс у него нет, и повторный логин ничего не изменит. Иногда вместо 403 отдают 404, чтобы не раскрывать само существование ресурса

Чем HTTP/1.1 отличается от HTTP/2?

HTTP/2 сохранил методы, коды и заголовки, но поменял формат передачи. Вместо текста — бинарные фреймы, и по одному TCP-соединению параллельно идут много запросов в отдельных потоках, а в HTTP/1.1 запросы на соединении идут по очереди. Заголовки сжимаются HPACK, который не передаёт повторяющиеся заголовки заново. Минус остался на уровне TCP: потеря одного пакета тормозит все потоки соединения

Зачем нужен HTTP/3, если есть HTTP/2?

HTTP/2 убрал блокировку очереди на уровне HTTP, но не на уровне TCP: один потерянный пакет задерживает все потоки. HTTP/3 работает поверх QUIC на UDP, где каждый поток доставляется независимо. Ещё QUIC совмещает транспортное рукопожатие с TLS 1.3 и экономит один RTT на новом соединении, а при смене сети, например с Wi-Fi на мобильную, соединение может продолжиться. Выигрыш заметнее всего на мобильных сетях с потерями

Как работает кэширование в HTTP? Чем no-cache отличается от no-store?

Сервер говорит, как кэшировать, заголовком Cache-Control: max-age задаёт срок свежести, private запрещает общие кэши вроде CDN. Когда срок истёк, кэш проверяет копию условным запросом с If-None-Match и ETag, и сервер отвечает 304 без тела, если ничего не изменилось. no-cache разрешает хранить ответ, но требует проверять его перед каждым использованием. no-store запрещает хранить его вообще

Чем отличаются редиректы 301, 302, 307 и 308?

301 и 308 — постоянный переезд, браузер и поисковики запоминают новый адрес. 302 и 307 — временный, старый адрес остаётся основным. Разница внутри пар в методе: после 301 и 302 клиент по историческим причинам может заменить POST на GET и потерять тело, а 307 и 308 метод менять запрещают. Для API, куда идут POST, правильные коды — 307 и 308

📚 Что почитать

  • RFC 9110: HTTP Semantics — первоисточник по методам, кодам и заголовкам. Разделы 9.2 про свойства методов и 15 про коды читаются за вечер
  • HTTP caching на MDN — понятный разбор Cache-Control, ETag и условных запросов с примерами
  • HTTP/2 — глава из «High Performance Browser Networking»: потоки, фреймы, HPACK и почему HTTP/2 устроен именно так
  • Пакет net/http — как Go включает HTTP/2, поле Protocols и правила повтора запросов в Transport