Et appopkald virker som et webopkald: agenten hører opkalderen, kan vise kort og kalde appens egne funktioner, og opkaldet vises, analyseres og afregnes som ethvert andet. Din server beholder API-nøglen og giver appen en engangsadresse eller et engangstoken til den indloggede bruger.
| App | Sådan forbinder den |
|---|---|
| iOS | Lyd over en WebSocket, med iOS' ekkoannullering |
| Android | Lyd over en WebSocket, med Androids ekkoannullering |
| React Native | Et webopkaldstoken og Pipecats React Native-klient |
Til iOS og Android starter din server opkaldet og svarer appen med dets websocket_url, som kan åbnes én gang inden for 15 minutter:
curl https://evasay.com/api/v1/voice/calls/websocket \
-X POST \
-H "Authorization: Bearer sk-your-key" \
-H "Content-Type: application/json" \
-d '{ "agent_id": "AGENT_ID", "encoding": "pcm_s16le", "sample_rate": 16000, "user_id": "u_42", "page_tools": ["open_order"] }'
Til React Native opretter den et webopkaldstoken med POST /api/v1/voice/web-calls og svarer appen med token og web_call_url.
Åbn websocket_url med URLSessionWebSocketTask. Optag med AVAudioEngine med stemmebehandling slået til (så hører agenten ikke sig selv gennem højttaleren), konverter mikrofonen til 16-bit PCM med opkaldets samplingfrekvens, og send den i binære frames på 20 ms. Binære frames fra EvaSay er agentens stemme i samme format; afspil dem med en AVAudioPlayerNode.
let session = AVAudioSession.sharedInstance()
try session.setCategory(.playAndRecord, mode: .voiceChat, options: [.defaultToSpeaker])
try engine.inputNode.setVoiceProcessingEnabled(true)
let socket = URLSession.shared.webSocketTask(with: websocketURL)
socket.resume()
// microphone tap → 16 kHz Int16 mono → socket.send(.data(frame))
// socket.receive: .data → player.scheduleBuffer, .string → the call's events
Tekstframes er opkaldets hændelser som JSON. Ved clear (opkalderen afbrød) stopper du afspilleren og smider det væk, den har i kø; ved ended lukker du socketen. Tilføj NSMicrophoneUsageDescription til appens Info.plist.
Åbn websocket_url med OkHttp. Optag med AudioRecord fra VOICE_COMMUNICATION, som slår telefonens ekkoannullering til, og afspil med en AudioTrack til USAGE_VOICE_COMMUNICATION, begge 16-bit mono med opkaldets samplingfrekvens.
val record = AudioRecord(
MediaRecorder.AudioSource.VOICE_COMMUNICATION, 16000,
AudioFormat.CHANNEL_IN_MONO, AudioFormat.ENCODING_PCM_16BIT, bufferBytes)
val socket = OkHttpClient().newWebSocket(Request.Builder().url(websocketUrl).build(), listener)
// a thread reads 640 bytes (20 ms) at a time → socket.send(frame.toByteString())
// listener.onMessage(bytes) → track.write(...); onMessage(text) → the call's events
Ved clear sætter du AudioTrack på pause og tømmer den; ved ended lukker du socketen. Appen skal have tilladelserne RECORD_AUDIO og INTERNET.
Send med POST { "token": "…", "pageTools": ["open_order"] } til https://evasay.com + web_call_url. Svarets data er opkaldets forbindelse. Når dens transport er cf, går opkaldet gennem Cloudflare Realtime på cfUrl: forbind med Pipecats React Native SmallWebRTC-transport (@pipecat-ai/react-native-small-webrtc-transport med @pipecat-ai/client-js), hvis forbindelsesopsætning følger EvaSays signalering nedenfor. Når svaret har en offerUrl, forbinder den uændrede transport til den.
// Offer to cfUrl, then answer each offer Cloudflare makes at /api/cf/answer
// until the reply names the two data channels.
await pc.setLocalDescription(await pc.createOffer());
let reply = await post(cfUrl, { sdp: pc.localDescription.sdp, type: 'offer', requestData });
const pcId = reply.pc_id;
for (;;) {
if (reply.answer) await pc.setRemoteDescription({ type: 'answer', sdp: reply.answer });
if (reply.offer) {
await pc.setRemoteDescription({ type: 'offer', sdp: reply.offer });
await pc.setLocalDescription(await pc.createAnswer());
reply = await post(answerUrl, { pc_id: pcId, sdp: pc.localDescription.sdp });
} else if (reply.next) reply = await post(answerUrl, { pc_id: pcId });
else break;
}
// "to-agent" is the channel RTVI messages are sent on, "to-caller" the agent's.
dc = pc.createDataChannel('to-agent', { negotiated: true, id: reply.channels.toAgent });
pc.createDataChannel('to-caller', { negotiated: true, id: reply.channels.toCaller });
Før tilbuddet tilføjer du én lyd-transceiver (sendonly) med mikrofonen; agentens spor kommer i Cloudflares tilbud. Cloudflare har ikke brug for ICE-kandidater fra appen, og en tabt forbindelse afslutter opkaldet.
Kort, sidefunktioner og meddelelser kommer som RTVI-server-messages (evasay.cards, evasay.tool, evasay.notice). Send skrevne ord med send-text, og siderapporter og funktionssvar som client-messages evasay.context og evasay.tool_result ({ id, result } eller { id, error }).
Tilføj en funktion af typen Kører på din webside ("kind": "page") til agenten, og besvar den i appen: over WebSocket sender opkaldet {"type":"tool","id","name","arguments"}, og appen svarer {"type":"tool_result","id","result"}. Agenten må kun kalde de funktioner, appen har nævnt (page_tools eller pageTools). De kører logget ind som brugeren: bed om bekræftelse i appen før alt, der koster penge eller ikke kan fortrydes.