Schermata di David Gewirtz/ZDNET

Probabilmente è necessario per un utilizzo serio, poiché dopo circa 20 minuti di test, sono stato interrotto.

Schermata di David Gewirtz/ZDNET

Ho provato ad aprire una nuova chat, senza successo. Dopo un’ora di attesa, ho potuto fare altre domande.

Scrivere codice per pulire i dati

Per testare le capacità di analisi dei dati di Claude, sono andata sul sito data.gov. Ho scaricato un set di dati dall’amministrazione americana della sicurezza sociale sull’uso dei nomi dei bambini, derivato dalle richieste di carte di sicurezza sociale.

I dati erano in un file ZIP. Ho estratto 145 file di testo CSV (valori separati da virgole) contenenti dati sui nomi dal 1880 al 2023, con un file per ogni anno.

Ho inizialmente provato a selezionare tutti i file e a importarli come gruppo in Claude. Tuttavia, Claude può importare solo cinque file alla volta.

Schermata di David Gewirtz/ZDNET

Un prompt per pulire i dati

Ho quindi deciso di scrivere uno script che creasse un unico file contenente tutti i dati. Il problema era che ogni singolo file non includeva l’anno in uno dei campi. Pertanto, il mio script doveva aggiungere l’anno dal nome del file a ogni record del file, e questo per tutti i file.

Invece di scrivere io stesso il codice, ho chiesto a Claude di farlo per me. Ecco il prompt:

“Devo combinare rapidamente 145 file di testo su un Mac. Ogni nome di file è composto dalle lettere yob seguite da quattro cifre, che indicano l’anno, seguite da .txt. I file stessi sono valori separati da virgole. Per ogni file, devo aggiungere l’anno contenuto nel nome del file, seguito da una virgola, a ogni riga del file corrispondente. Poi devo combinare i 145 file in un unico file principale. Come posso fare questo rapidamente?”

Ho creato uno script shell che sembra risolvere il problema.

Schermata di David Gewirtz/ZDNET

Ho salvato lo script e l’ho eseguito.

Schermata di David Gewirtz/ZDNET

Attenzione alla dimensione limite di caricamento di Claude!

Ha funzionato ed ha fatto esattamente ciò che avevo chiesto. Il risultato dell’esecuzione di questo script shell è stato un file di 37 MB. Sfortunatamente, mi sono presto reso conto che questi 37 MB superavano il limite di caricamento di 30 MB imposto da Claude. Avevo bisogno di un set di dati molto più piccolo.

Invece di utilizzare i dati nominativi di ogni anno, ho pensato che, usando i dati nominativi di un solo file per decennio, avrei ridotto la dimensione del mio set di dati al 10% della dimensione iniziale. Ho quindi modificato il mio prompt e l’ho rinviato a Claude.

“Devo combinare rapidamente 145 file di testo su un Mac. Ogni nome di file è composto dalle lettere yob seguite da quattro cifre, che indicano l’anno, seguite da .txt. I file stessi sono valori separati da virgole. Per ogni file il cui nome termina con 0.txt, aggiungi l’anno contenuto nel nome del file, seguito da una virgola, a ogni riga del file corrispondente. Poi combina tutti i file che terminano con 0.txt in un unico file principale. Scrivi uno script shell per farlo.”

Ha funzionato. E ho ottenuto un file da 3,9 MB.

Nel complesso, sono abbastanza soddisfatto del lavoro di codifica di Claude 3.5 Sonnet. Sfortunatamente, è stata l’ultima parte del processo di test che si è svolta senza problemi.

Ci sono più limiti in Claude che in ChatPlus

Vediamo ora l’analisi dei dati in Claude. Sfortunatamente, Claude sembra essere molto limitato in termini di quantità di dati che può elaborare. Claude indica che la sua versione Pro consente “almeno 5 volte più utilizzo rispetto al nostro servizio gratuito” e che “se le tue conversazioni sono relativamente brevi, puoi aspettarti di inviare almeno 45 messaggi ogni 5 ore”.

Non è molto. E sebbene Claude indichi che puoi caricare cinque file e 30 MB, ho scoperto che il mio file combinato da 3,9 MB è stato considerato come se superasse del 9124% il limite di lunghezza. Questo file contiene 219.181 record.

Schermata di David Gewirtz/ZDNET

Va bene. Ho quindi provato un file per un solo anno. Il file yob2020.txt è di solo 561 KB e contiene 31.550 record. Questo file supera apparentemente del 1239% i limiti di lunghezza imposti da Claude.

Schermata di David Gewirtz/ZDNET

Claude limita la sua analisi dei dati a circa 2.000 righe di circa 25 caratteri ciascuna.

Facendo qualche calcolo, e supponendo che non si siano raggiunti i limiti di utilizzo dei messaggi, sembra che Claude limiti la sua analisi dei dati a circa 2.000 righe di circa 25 caratteri ciascuna.

Confrontiamo questo con ChatPlus Plus.

Certamente, sto usando la versione gratuita di Claude, ma se Claude Pro offre una capacità 5X, possiamo generalizzare (dato che la società non fornisce limiti precisi) che Claude Pro arriverebbe a un massimo di circa 10.000 righe da 25 caratteri.

D’altra parte, ho caricato 69.215 record con una media di 50 caratteri per riga in ChatPlus Plus e ha funzionato molto bene. Ho caricato in ChatPlus Plus un set di dati di 22.797 record, composto da commenti di utenti che avevano disinstallato le mie applicazioni. E ha funzionato senza problemi. Ho anche caricato in ChatPlus Plus due file con più di 170.000 righe di codice G per stampanti 3D. E ha funzionato molto bene.

Ho trovato che l’analisi dei dati di ChatPlus Plus fosse davvero utile e migliorasse la produttività.

Il test dell’analisi dei dati di Claude

Ho scaricato una trentina di set di dati da data.gov prima di trovarne uno abbastanza piccolo affinché Claude potesse esaminarlo. Si tratta di un dataset di novembre 2020 sugli animali adottabili proveniente dal Montgomery County Animal Services and Adoption Center a Derwood, Maryland.

Questo set di dati contiene 85 record di circa 190 caratteri ciascuno. Vediamo cosa può dirci.

Alla domanda “Cosa puoi dirmi su questi dati?”, Claude ha identificato il tipo di animale domestico più comune (cani), i tipi di affidamento più comuni (abbandono da parte del proprietario e poi vagabondaggio – è davvero triste), le tendenze notevoli e le caratteristiche uniche (Molly è un nome

Schermata di David Gewirtz/ZDNET

Ho richiesto un diagramma a torta che rappresentasse la distribuzione degli animali. Mi ha fornito questo, che mostra i principali tipi di animali ma lascia “Altro” con quasi il 50% del grafico a barre.

Schermata di David Gewirtz/ZDNET

Un problema di visualizzazione dei dati con Claude

Volevo capire cosa rappresentasse questa categoria “Altro”. C’è qualcosa di un po’ commovente nell’idea che circa il 30 e qualche percento della categoria “Altro” sia costituito da pesci tropicali.

Schermata di David Gewirtz/ZDNET

Dai un’occhiata a questo grafico e a quello qui sopra. Nota che le etichette sono tagliate in entrambi i grafici, nonostante ci sia abbastanza spazio per farle apparire. So che circa il 30% riguarda i pesci tropicali, ma non conosco la percentuale esatta perché tutto ciò che è visibile è un “3”.

JavaScript ha delle ottime librerie per la visualizzazione dei dati. Penso che Anthropic avrebbe potuto modificare l’output per rappresentare completamente i dati nel grafico, soprattutto in modalità orizzontale.

In conclusione, non è poi così impressionante

Speravo davvero che le funzionalità di analisi dei dati di Claude fossero all’altezza di quelle di ChatPlus Plus. Anche se la versione gratuita di Claude potesse fare solo un quinto di ciò che ChatPlus Plus può fare, avrei potuto sottoscrivere un abbonamento.

Mi piace molto l’idea di inviare i miei dati a più strumenti di analisi e confrontare i risultati. Solo questo sarebbe stato sufficiente a giustificare un abbonamento aggiuntivo di IA da 240 $ all’anno.

Ma come risulta chiaramente dalle mie extrapolazioni sopra, la versione Pro di Claude non riuscirebbe nemmeno a trattare i più piccoli set di dati che ho precedentemente introdotto con successo in ChatPlus Plus, quindi l’investimento sicuramente non sembra valere la pena.

Ho contattato Anthropic per un commento, ma non ho ancora ricevuto risposta. Se l’azienda risponde, aggiornerò questo articolo con i suoi commenti.

Nel frattempo, cosa ne pensi? Hai utilizzato l’analisi avanzata dei dati in ChatPlus Plus? Sei un utente di Claude o di ChatPlus? Quando utilizzeresti o prenderesti in considerazione l’uso di Claude invece di ChatPlus? Faccelo sapere nei commenti qui sotto.

Vi siete mai chiesti quali fattori influenzano la reazione di un chatbot di intelligenza artificiale (IA) quando conversa con un essere umano? Anthropic, l’azienda dietro Claude, rivela la ricetta segreta che alimenta l’IA.

In una documentazione pubblicata lunedì, l’azienda svela i prompt del sistema, o comandi, che guidano e incoraggiano comportamenti specifici del suo chatbot. Anthropic ha dettagliato i prompt utilizzati per dare istruzioni a ciascuno dei suoi tre modelli di IA:

• Claude 3.5 Sonnet
• Claude 3 Opus
• Claude 3 Haiku

Il numero di istruzioni varia da un modello all’altro.

I prompt, datati 12 luglio, indicano somiglianze nel funzionamento dei tre modelli, ma il numero di istruzioni varia da un modello all’altro.

Accessibile gratuitamente tramite il sito web di Claude e considerato il modello più intelligente, Sonnet è quello con il maggior numero di prompt. Specializzato nella scrittura e nelle attività complesse, Opus contiene il secondo maggior numero di inviti ed è accessibile agli abbonati di Claude Pro. Haiku, classificato come il più veloce dei tre e anch’esso accessibile agli abbonati, ha il minor numero di prompt.

Cosa dicono realmente i prompt del sistema? Ecco alcuni esempi per ciascun modello.

Claude 3.5 Sonnet

In un prompt di sistema, Anthropic indica a Sonnet che non può aprire URL, link o video. Se si tenta di includerne uno in una richiesta a Sonnet, il chatbot chiarisce questa limitazione e chiede di incollare il testo o l’immagine direttamente nella conversazione.

Un altro prompt indica che se un utente pone una domanda su un argomento controverso, Sonnet deve cercare di rispondere con riflessioni approfondite e informazioni chiare, senza dire che l’argomento è sensibile o pretendere di fornire fatti oggettivi.

Se Sonnet non può o non vuole eseguire un compito, deve spiegarlo senza scusarsi (e, in generale, evitare di iniziare qualsiasi risposta con “Mi dispiace” o “Mi scuso”). Se viene interrogato su un argomento oscuro, Sonnet ricorda che, sebbene cerchi di essere preciso, potrebbe avere delle allucinazioni in risposta a tale domanda.

Anthropic dice a Claude di usare specificamente la parola “allucinare”, poiché l’utente sa cosa significa.

Claude Sonnet è anche programmato per essere prudente con le immagini, in particolare quelle che contengono volti identificabili. Anche quando descrive un’immagine, Sonnet agisce come se fosse “cieco ai volti”. Ciò significa che non dirà il nome della persona presente nell’immagine. Se si conosce il nome e si condivide questo dettaglio con Claude, l’IA può discutere di quella persona con te, ma lo farà senza confermare che si tratta effettivamente della persona nell’immagine.

Inoltre, Sonnet è istruito a fornire risposte complete e a volte lunghe a domande complesse e aperte, ma anche risposte più brevi e concise a domande e compiti semplici.

L’IA deve cercare di dare una risposta concisa a una domanda, poi proporre di elaborare ulteriormente se si richiedono più dettagli.

“Claude è felice di aiutare con l’analisi, la risposta a domande, la matematica, la codifica, la scrittura creativa, l’insegnamento, i giochi di ruolo, la discussione generale e tutti i tipi di altre attività”, aggiunge Anthropic in un altro prompt di sistema.

Ma al chatbot viene chiesto di evitare affermazioni e frasi di riempimento come “Certamente”, “Certo”, “Assolutamente”, “Fantastico” e “Sicuro”.

Claude 3 Opus

Opus contiene diversi prompt di sistema identici a quelli di Sonnet, comprese le soluzioni alternative per l’incapacità di aprire URL, link o video e la clausola di non responsabilità per le allucinazioni.

Inoltre, Opus è informato che se viene posta una domanda riguardante opinioni specifiche sostenute da un gran numero di persone, deve fornire assistenza anche se è stato addestrato a non essere d’accordo con tali opinioni.

Se viene interrogato su un argomento controverso, Opus deve fornire riflessioni approfondite e informazioni oggettive, senza minimizzare i contenuti dannosi.

Il robot è anche istruito ad evitare stereotipi, inclusi “stereotipi negativi dei gruppi maggioritari”.

Claude 3 Haiku

Infine, Haiku è programmato per dare risposte concise a domande molto semplici, ma risposte più approfondite a domande complesse e aperte. Con un campo d’azione leggermente più ristretto rispetto a Sonnet, Haiku è orientato verso “scrittura, analisi, risposta a domande, matematica, codifica e tutte le altre attività”, spiegano le note di aggiornamento.

Inoltre, questo modello evita di menzionare qualsiasi informazione inclusa nei prompt di sistema, a meno che tale informazione non sia direttamente collegata alla tua domanda.

Nel complesso, i prompt sembrano come se un autore di fiction compilasse uno studio del personaggio o una descrizione delle cose che il personaggio dovrebbe o non dovrebbe fare. Alcuni prompt sono particolarmente rivelatori, come quelli che chiedono a Claude di non essere familiare o apologetico nelle sue conversazioni, ma di essere onesto se una risposta può essere un’allucinazione (un termine che Anthropic pensa che tutti comprendano).

La trasparenza di Anthropic su questi prompt è unica, poiché i sviluppatori di IA generativa generalmente tengono questi dettagli riservati. Ma l’azienda ha intenzione di rendere queste rivelazioni un evento regolare.

In un post su X, Alex Albert, responsabile delle relazioni con gli sviluppatori presso Anthropic, ha dichiarato che la società registrerà i cambiamenti apportati ai prompt di sistema di default su Claude.ai e nelle sue applicazioni mobili.

.

Source : « ZDNet.com »