Projeto acadêmico de 2017 com IBM Watson e catálogo Natura para validação. A reconstrução demonstra 3 canais; WhatsApp via Twilio e o SDK 2018 são atualizações posteriores, não capacidades atribuídas ao MVP de 2017.
O projeto investigou como oferecer uma recomendação de beleza baseada em uma foto e nas preferências informadas pela pessoa, em vez de depender apenas de uma seleção genérica de produtos.
Consultoras de loja conheciam o cliente de vista. Online, esse conhecimento desaparecia completamente: o e-commerce vendia o mesmo produto para todo mundo da mesma forma.
A hipótese: e se o chatbot pudesse receber uma foto, analisar os traços da pessoa e recomendar o produto certo do catálogo real da Natura: no canal onde ela já estava?
1. Visual Recognition: a usuária enviava uma foto. Watson VR classificava: tipo de cabelo (crespo, cacheado, ondulado, liso), tom de pele, faixa etária. 96% de confiança no atributo dominante.
2. NLU conversacional: Watson Conversation gerenciava o diálogo em PT-BR: intenção de compra, localização de loja, histórico. Contexto persistido entre turnos da conversa.
3. Multi-canal: a arquitetura de referência normaliza mensagens em Node-RED. A reconstrução inclui Messenger, Telegram e WhatsApp via Twilio; este último é uma extensão posterior a 2017, não uma integração original confirmada.
6 telas completas e navegáveis: do onboarding à análise de foto com Watson VR, recomendação personalizada e localização de consultora com o catálogo real da Natura.
🌿 Abrir chatbot interativo → 🔀 Ver fluxo Node-RED →natura_hair_v2 detectava tipo de cabelo (crespo, cacheado, ondulado, liso) e tom de pele em 6 categorias calibradas para o mercado brasileiro. 96% de confiança no atributo dominante.// Node-RED: function node: roteamento de mensagem entrada // Reconstrução: canais de exemplo; WhatsApp/Twilio é posterior a 2017 if (msg.payload.message && msg.payload.message.attachments) { var att = msg.payload.message.attachments[0]; if (att.type === 'image') { msg.imageUrl = att.payload.url; return [msg, null]; // output 1 → Watson Visual Recognition } } // Mensagem de texto → Watson Conversation (NLU) msg.text = msg.payload.message ? msg.payload.message.text : msg.payload.text; return [null, msg]; // output 2 → NLU + diálogo
const VisualRecognitionV3 = require('watson-developer-cloud/visual-recognition/v3'); const vr = new VisualRecognitionV3({ version: '2018-03-19', iam_apikey: process.env.WVR_API_KEY }); vr.classify({ url: msg.imageUrl, classifier_ids: ['natura_hair_v2', 'skin_tone_classifier', 'default'], threshold: 0.6 }, function(err, response) { // Flatten classifiers e sort por score desc const classes = response.images[0].classifiers .reduce((acc, c) => acc.concat(c.classes), []) .sort((a, b) => b.score - a.score); // ex: [{class:'curly_hair', score:0.96}, {class:'skin_medium', score:0.91}] msg.profile = { hairType: classes.find(c => c.class.includes('hair'))?.class || 'all', skinTone: classes.find(c => c.class.includes('skin'))?.class || 'all', confidence: classes[0]?.score || 0 }; node.send([msg, null]); // → recommendation engine });
const ConversationV1 = require('watson-developer-cloud/conversation/v1'); const conv = new ConversationV1({ username: process.env.WC_USERNAME, password: process.env.WC_PASSWORD, version_date: '2017-05-26' }); conv.message({ workspace_id: process.env.WC_WORKSPACE_ID, input: { text: msg.text }, context: msg.session ? msg.session.context : {} // estado de conversa }, function(err, response) { const intent = response.intents.length > 0 ? response.intents[0].intent // 'product_recommendation' | 'store_locator' : 'unknown'; msg.intent = intent; msg.reply = response.output.text[0]; msg.session = { context: response.context }; // persiste para próximo turno node.send(msg); });
// Match perfil visual do Watson VR × catálogo JSON da Natura function recommend(profile, catalog) { const WEIGHTS = { hairMatch: 0.6, // tipo de cabelo é o sinal mais forte skinMatch: 0.3, // tom de pele é secundário ageMatch: 0.1 // faixa etária é desempate }; return catalog .filter(product => { const hairOk = product.hair_types.includes(profile.hairType) || product.hair_types.includes('all'); const skinOk = product.skin_tones.length === 0 || product.skin_tones.includes(profile.skinTone); return hairOk && skinOk; }) .map(p => ({ ...p, relevance: WEIGHTS.hairMatch * profile.confidence + WEIGHTS.skinMatch * (profile.skinTone !== 'all' ? 0.9 : 0.5) + WEIGHTS.ageMatch * (p.age_target === profile.ageGroup ? 1 : 0.5) })) .sort((a, b) => b.relevance - a.relevance) .slice(0, 3); // Top 3 recomendações do catálogo Natura }
O Watson Visual Recognition usava CNNs treinadas para classificar atributos visuais. Treinamos um classifier customizado natura_hair_v2 com exemplos de cabelo liso, ondulado, cacheado e crespo, calibrado para o perfil étnico brasileiro. O resultado era uma lista de classes com score de confiança (ex: curly_hair: 0.96). O pipeline pegava o atributo com maior score e usava como chave de lookup no catálogo Natura.
O Node-RED é uma ferramenta de programação visual baseada em fluxos Node.js da IBM. Cada mensagem chegava via webhook normalizado: o function node verificava se havia message.attachments (foto) ou message.text (texto) e roteava para outputs diferentes. Fotos iam para Watson VR; textos iam para Watson Conversation. O fluxo visual era fácil de apresentar no pitch: executivos conseguiam entender o fluxo olhando para o diagrama.
Cada canal tem seu formato de webhook. O exemplo normaliza mensagens em {channel, user_id, text, attachments, timestamp} e adapta a resposta à plataforma. O WhatsApp via Twilio foi lançado em 2018: aqui é uma extensão demonstrativa posterior, não uma entrega atribuída ao projeto de 2017.
O IBM Bluemix era a plataforma de cloud da IBM (hoje IBM Cloud). Em 2017, era a opção mais natural para integrar Watson APIs: todos os serviços tinham SDKs Node.js primeiro-classe e o free tier para projetos acadêmicos era generoso. O Node-RED rodava como app Cloud Foundry no Bluemix. A escolha também facilitou o pitch para a Natura: stack 100% gerenciada, sem servidor para manter, escalável via IBM.
Após o pitch final do FIAP Startup One, a Natura entrou em contato espontaneamente e nos forneceu um dump do catálogo completo em JSON: com nome do produto, linha (Ekos, Chronos, Plant...), tipo de cabelo indicado, tom de pele recomendado, benefícios, faixa etária e imagens. Cerca de ~400 produtos. Integramos como arquivo JSON estático no Node.js. O recommendation engine fazia lookup por tipo de cabelo e tom de pele e retornava o top 3 com imagem real do produto, descrição e link de compra no site Natura.
Me chama pelo canal que preferir. Eu mesma respondo.