"""İlk token süresi (TTFT) ve girdi uzunluğu — yerel Qwen3.8 vLLM (localhost:8000), sıralı tek istekler.

Deney A (ana): FLORES-200 dev+devtest'in ilk N paralel cümlesi Türkçe ve İngilizce belge olarak verilir,
  aynı Türkçe talimat ("tek cümleyle özetle"), çıktı tam 128 token (min_tokens=max_tokens=128), temperature 0.
  Her istemin başına benzersiz kayıt numarası konur (önceki istekle ortak önek olmasın).
  N listesi x 2 dil x 5 tekrar, karışık sıra (tohum 20261025).
Deney B (tekrar): aynı istem (aynı kayıt no) arka arkaya iki kez; prefix cache sayaç farkı kaydedilir.
Her istekten önce/sonra /metrics'ten num_requests_running/waiting okunur (başka yük var mı).
Çıktı: results/requests.jsonl (ham), results/prompts_and_outputs.jsonl (tam istem+cevap).
"""
import json, random, time, uuid, re, sys, pathlib, requests
from tokenizers import Tokenizer

ROOT = pathlib.Path(__file__).parent
URL = 'http://127.0.0.1:8000'
MODEL = 'Qwen/Qwen3.8-27B'
SNAP = '/home/zeka/ai/vllm/hf-cache/hub/models--nvidia--Qwen3.8-27B-NVFP4/snapshots/482ca0f3832238542f8f5295dde86b5f22711d80'
tok = Tokenizer.from_file(SNAP + '/tokenizer.json')

def lines(lang):
    out = []
    for part in ('dev', 'devtest'):
        out += (ROOT / 'data' / f'{lang}.{part}').read_text(encoding='utf-8').splitlines()
    return out
TR, EN = lines('tur_Latn'), lines('eng_Latn')
assert len(TR) == len(EN) == 2009

INSTR = 'Aşağıdaki metni oku ve ne anlattığını tek cümleyle Türkçe özetle.'
def prompt(lang, n, rec):
    doc = '\n'.join((TR if lang == 'tr' else EN)[:n])
    return f'Kayıt no: {rec}\n\n{INSTR}\n\n{doc}'

def metrics():
    t = requests.get(URL + '/metrics', timeout=10).text
    g = lambda k: sum(float(m) for m in re.findall(rf'^vllm:{k}{{[^}}]*}} ([0-9.e+]+)$', t, re.M))
    return {'running': g('num_requests_running'), 'waiting': g('num_requests_waiting'),
            'pc_queries': g('prefix_cache_queries_total'), 'pc_hits': g('prefix_cache_hits_total')}

def call(p, out_tokens=128):
    body = {'model': MODEL, 'messages': [{'role': 'user', 'content': p}], 'max_tokens': out_tokens,
            'min_tokens': out_tokens, 'temperature': 0, 'stream': True,
            'stream_options': {'include_usage': True, 'continuous_usage_stats': True}}
    m0 = metrics()
    t0 = time.perf_counter(); first = None; chunks = []; text = ''; usage = None
    with requests.post(URL + '/v1/chat/completions', json=body, stream=True, timeout=600) as r:
        r.raise_for_status()
        for raw in r.iter_lines():
            if not raw or not raw.startswith(b'data: '): continue
            d = raw[6:]
            if d == b'[DONE]': break
            j = json.loads(d)
            now = time.perf_counter() - t0
            if j.get('choices'):
                delta = j['choices'][0].get('delta', {})
                piece = (delta.get('content') or '') + (delta.get('reasoning_content') or delta.get('reasoning') or '')
                if piece:
                    if first is None: first = now
                    text += piece
                    ct = (j.get('usage') or {}).get('completion_tokens')
                    chunks.append([round(now, 5), ct])
            if j.get('usage'): usage = j['usage']
    total = time.perf_counter() - t0
    m1 = metrics()
    return {'ttft_s': first, 'total_s': total, 'usage': usage, 'n_chunks': len(chunks), 'chunks': chunks,
            'text': text, 'm_before': m0, 'm_after': m1}

def main():
    ns = [1, 2, 4, 8, 16, 32, 64, 128, 192, 256, 320, 384, 412]
    # en uzun Türkçe istem 16384 bağlama 128 çıktıyla sığmalı
    for n in ns:
        assert len(tok.encode(prompt('tr', n, 'x' * 8)).ids) + 160 < 16384, n
    rng = random.Random(20261025)
    jobs = [(lang, n, rep) for n in ns for lang in ('tr', 'en') for rep in range(5)]
    rng.shuffle(jobs)
    res = open(ROOT / 'results' / 'requests.jsonl', 'w')
    po = open(ROOT / 'results' / 'prompts_and_outputs.jsonl', 'w')
    # ısınma (kaydedilir ama analize girmez)
    for i in range(3):
        call(prompt('tr', 8, uuid.uuid4().hex[:8]), 16)
    for i, (lang, n, rep) in enumerate(jobs):
        rec = uuid.uuid4().hex[:8]
        p = prompt(lang, n, rec)
        r = call(p)
        row = {'exp': 'A', 'i': i, 'lang': lang, 'n_sent': n, 'rep': rep, 'rec': rec,
               'local_tokens_user': len(tok.encode(p).ids), 'chars': len(p)} | {k: v for k, v in r.items() if k != 'text'}
        res.write(json.dumps(row, ensure_ascii=False) + '\n'); res.flush()
        po.write(json.dumps({'exp': 'A', 'i': i, 'lang': lang, 'n_sent': n, 'rep': rep, 'prompt': p, 'output': r['text']}, ensure_ascii=False) + '\n'); po.flush()
        print(i, lang, n, rep, r['usage']['prompt_tokens'], round(r['ttft_s'], 3), round(r['total_s'], 2), r['m_before']['running'], flush=True)
        time.sleep(0.5)
    # Deney B: aynı istemi arka arkaya iki kez
    for n in (64, 256, 412):
        for lang in ('tr', 'en'):
            for rep in range(3):
                rec = uuid.uuid4().hex[:8]
                p = prompt(lang, n, rec)
                for k in (1, 2):
                    r = call(p)
                    row = {'exp': 'B', 'lang': lang, 'n_sent': n, 'rep': rep, 'try': k, 'rec': rec} | {kk: v for kk, v in r.items() if kk != 'text'}
                    res.write(json.dumps(row, ensure_ascii=False) + '\n'); res.flush()
                    po.write(json.dumps({'exp': 'B', 'lang': lang, 'n_sent': n, 'rep': rep, 'try': k, 'prompt': p, 'output': r['text']}, ensure_ascii=False) + '\n'); po.flush()
                    print('B', lang, n, rep, k, round(r['ttft_s'], 3), r['m_after']['pc_hits'] - r['m_before']['pc_hits'], flush=True)
                    time.sleep(0.5)
    print('DONE')

if __name__ == '__main__':
    main()
