Saya menjalankan model Openai ‘Open-Ojan’ di laptop saya (tapi saya tidak akan menawarkannya)

Semua mata AI mungkin tertuju pada GPT -5 minggu ini, model bahasa besar terbaru Openai. Namun, hype (dan kekecewaan) melihat di masa lalu minggu ini adalah pengumuman besar Openai lainnya: GPT-OS, model AI baru yang dapat Anda jalankan secara lokal di perangkat Anda. Saya telah mengerjakan laptop dan iMac saya, meskipun saya tidak yakin saya menyarankan Anda untuk melakukan hal yang sama.

Apa masalahnya dengan GPT-OS?

Model AI seperti GPT -OS, GPT -5. Namun, berlawanan dengan LLM terakhir dan terhebat dari Openai, GPT-OS “Open Open”. Ini memungkinkan pengembang untuk menyesuaikan dan halus model dalam penggunaan spesifik mereka. Namun, ini berbeda dari open source: OpenAI harus memasukkan kode yang mendasari untuk model serta data model yang dilatih. Sebaliknya, perusahaan hanya memberikan akses kepada pengembang untuk “berat” atau dengan kata lain, kontrol tentang bagaimana model memahami hubungan antara data.

Saya bukan pengembang, jadi saya tidak bisa memanfaatkan taman itu. Saya apa Bisa Lakukan dengan GPT -SS yang tidak dapat saya lakukan dengan GPT -5, namun, jalankan model Mac saya secara lokal. Setidaknya keuntungan besar di sana untuk pengguna biasa seperti saya adalah saya dapat menjalankan LLM tanpa koneksi internet. Mempertimbangkan semua data yang saya hasilkan ketika saya menggunakan chatzp itu mungkin cara paling pribadi untuk menggunakan model OpenAI.

Model ini hadir dalam dua bentuk: GPT -SS -20B dan GPT -OS -120BYang kedua lebih kuat sejauh ini, dan sebagaimana dirancang untuk menjalankan pada mesin dengan setidaknya 80 GB memori. Saya hampir tidak memiliki komputer dengan jumlah RAM, jadi saya tidak memiliki 120b untuk saya. Untungnya, minimum memori GPT -20B minimum 16GB: iMac M1 saya adalah persis berapa banyak kenangan yang ada dan M3 Pro saya adalah dua gigabyte kurang dari M3 Pro MacBook Pro.

Menginstal GPT-SS di Mac

GPT-OS Diinstal pada Mac Terpasang Sederhana Luar Biasa: Anda hanya perlu satu program OlamaYang memungkinkan Anda menjalankan secara lokal ke LLMS di mesin Anda. Setelah Anda mengunduh Olama ke Mac Anda, buka. Aplikasi ini pada dasarnya terlihat seperti perahu obrolan lain yang dapat Anda gunakan terlebih dahulu, hanya Anda yang dapat memilih dari LLM yang berbeda untuk diunduh di mesin Anda. Klik pemetik model di sebelah tombol pengirim, lalu cari “GPT-OS: 20B”. Pilih, lalu kirim pesan ke salah satu pesan yang Anda inginkan untuk memicu unduhan. Anda membutuhkan sedikit lebih dari 12 GB untuk mengunduh dalam pengalaman saya.

Atau, Anda dapat menggunakan aplikasi Terminal Mac Anda untuk mengunduh LLM perintah berikut: Olama Run GPT-OS: 20BSaat unduhan selesai, Anda siap untuk pergi.

Untuk menjalankan gpt-oss di mac saya

Di kedua Mac saya dengan GPT -OS -20B, saya siap untuk menyimpannya dalam ujian. Saya telah meninggalkan hampir semua program aktif saya untuk menjaga model sebanyak mungkin terhadap manajemen. Satu -satunya aplikasi aktif tentu saja adalah Olama, tetapi juga kegiatannya adalah monitor, jadi saya bisa menyimpan tab tentang seberapa ketat Mac saya berjalan.

Saya mulai dengan yang sederhana: “Apa itu 2+2?” Setelah memukul kembali ke kedua kata kunci, saya melihat gelembung obrolan memproses permintaan, seolah -olah mengetik Olama. Saya juga bisa melihat bahwa kenangan kedua mesin saya didorong ke yang paling.

My MacBook’s Olama thought about the request for 5.9 seconds, “The user asked: ‘2+2 keys’. This is a common mathematical question The answer should be answered. No more extension is required, but may not respond with modesty. It then answered the question. The whole process took about 12 seconds. On the other hand my iMac thought for about 605 seconds: “The user asked: ‘2+2 keys’. Ini adalah pertanyaan matematika yang umum jawabannya harus dijawab. Tidak ada lagi ekstensi, tetapi Anda dapat merespons dengan kesederhanaan. Tidak perlu konteks tambahan. “Butuh waktu 90 detik Total setelah menjawab pertanyaan. Sudah lama untuk mengetahui jawaban 2+2.

Selanjutnya, saya mencoba sesuatu yang saya lihat untuk melawan GPT -5: “Berapa banyak BS di Blueberry?” Sekali lagi, MacBook saya telah mulai menghasilkan jawaban lebih cepat daripada iMac saya, yang tidak terduga. Meskipun masih lambat, itu datang dengan laju teks yang masuk akal, ketika iMac saya berjuang untuk mengetahui setiap kata. Butuh MacBook saya dalam 90 detik secara total, sementara iMac saya mengambilnya dengan adil 4 menit 10 detikKedua program dapat menjawab dengan benar bahwa sebenarnya ada dua B di blueberry.

Akhirnya, saya bertanya kepada kedua raja Inggris pertama. Saya tidak terbiasa dengan bagian sejarah bahasa Inggris ini tanpa mengakui, jadi saya berasumsi itu akan menjadi jawaban sederhana. Tapi jelas ini kompleks, jadi ini benar -benar pemikiran model. MacBook Pro saya membutuhkan waktu dua menit untuk sepenuhnya menjawab pertanyaan ini – itu tergantung pada siapa yang Anda tanyakan Æ Thalstan atau Alfred the Great – ketika iMac saya memakan waktu 10 menit sepenuhnya. Terus terang, Inggris meluangkan waktu ekstra untuk menamai raja -raja negara bagian lain sebelum United di bawah satu bendera. Poin untuk upaya tambahan.

GPT-SS Dibandingkan dengan Chatzipi

Dari tiga tes umum ini jelas bahwa chip M3 Pro saya dari M3 M3 dan RAM 2GB tambahan menghancurkan chip M1 iMac saya dengan RAM 16GB. Namun, itu tidak memberikan banyak kredit kepada MacBook Pro. Beberapa dari jawaban ini masih dalam kecepatan lambat, terutama ketika membandingkan seluruh chatzp dengan pengalaman. Apa yang terjadi di sini ketika saya memasukkan tiga pertanyaan yang sama dalam aplikasi Chatzpt saya, yang sekarang terjadi pada GPT -5.

• Ketika ditanya “2+2 tombol” dengan segera menjawab.

• “Berapa banyak BS di Blueberry” ditanyakan, Chatzipt menjawab dalam waktu sekitar 10 detik. (Sepertinya Openai telah memperbaiki masalah GPT -5 di sini.)

• Ketika ditanya “siapa Raja Inggris pertama”, Chatzipt menjawab sekitar 6 detik.

Sudah lebih banyak waktu untuk memikirkan pertanyaan blueberry daripada mempertimbangkan sejarah kompleks keluarga kerajaan Inggris.

Saya tidak akan menggunakan GPT-SS mungkin

Saya bukan seseorang yang menggunakan Chatzipt dalam kehidupan sehari -hari saya, jadi mungkin saya bukan tes terbaik untuk pengalaman ini. Tetapi jika saya juga tertarik pada pengguna LLM, GPT-OS sangat lambat untuk dipertimbangkan menggunakannya sepanjang waktu di perangkat keras pribadi saya.

Dibandingkan dengan iMac saya, MacBook saya merasa GPT-SS dengan cepat di Pro. Namun, Chatzpt dibandingkan dengan aplikasi, GPT-OS merangkak. Benar-benar hanya ada satu wilayah di mana GPT-OS adalah pengalaman chatzpt lengkap: bersinar pada privasi. Saya tidak bisa menahannya tetapi saya tidak bisa menghargainya, meskipun lambat, tidak ada pertanyaan saya yang dikirim untuk membuka atau kepada siapa pun dalam topik ini. Semua pemrosesan terjadi secara lokal di Mac saya, sehingga saya dapat memastikan bahwa saya menggunakan bot secara langsung.

Ini mungkin alasan yang baik bagi MacBook saya untuk kembali ke Olema kapan saja dan kapan saja saya merasa tinta menggunakan AI. Saya benar -benar tidak keberatan bahwa saya dapat repot -repot dengan itu di iMac saya, mungkin kecuali untuk memulihkan pengalaman penggunaan internet di tahun 90 -an. Namun, jika mesin pribadi Anda cukup kuat – namun, Mac terkelupas Pro atau maksimum dan 32 GB RAM atau lebih – ini bisa menjadi yang terbaik dari kedua dunia. Saya ingin melihat bagaimana skala GPT -OS -20B pada perangkat keras semacam itu. Sekarang, saya harus berurusan dengan lambat dan pribadi.

Publish: Pada bulan April, badan utama Lifehacker, Gef Davis, mengajukan gugatan terhadap Openai, menuduh bahwa ia melanggar hak cipta GEF Davis dalam pelatihan dan mengoperasikan sistem AI -nya.