[筆記] COSCUP 2024
Table of Contents
Day 1 ¶
只有 Status page 還不夠！講人話才知道 Infra 發生什麼事 ¶
講者架設 Uptime Kuma 來監控服務狀態，並作為 Status Page 展示。
當服務發生錯誤時，會透過 LLM 分析錯誤訊息，再依照嚴重程度通知不同 Line 群組。
Build an Advanced RAG with Fine-tuned Gemma ¶
PaliGemma 是視覺語言模型(Vision Language Model)，可以將圖片和文字做為輸入內容。文件上是說大多數 PaliGemma 模型都必須進行微調才會產生實用的結果。
- PaliGemma - 一般用途預先訓練模型，可對各種任務微調。
- PaliGemma-FT： 研究導向模型，使用特定研究資料集微調。
在 CoLab 上面可以對 Gemma2-2B 進行微調，但 T4 Runtime 需要花不少時間。有更好的硬體可以加速訓練時間。
透過Gemma實踐FT-RAG ¶
LLM 進步很快，未來會越來越強，不要再用 GPT3.5 了。
有提供使用不同顯卡的微調時間數據，用高級的顯卡能大量縮短訓練時間。
時間就是金錢，金錢可以換時間
訓練模型要因材施教，每個模型本身能理解的問題題型有所限制。再怎麼給予訓練資料，不會的題型就是不會。20B 以上的模型微調效果會比較好。
LLM 初體驗 - Running Google Gemma locally ¶
使用 Ollama + Gemma 在本機端 Live Demo，在現場看操作與效果。
Day 2 ¶
簡單用 Chrome Extension 接 Gemini API (下 Prompt) 就能實作文章摘要工具參加 Google 百萬美金挑戰賽 ¶
投影片內容基本上就是從 Blog 文章來的，可以參照 Blog 文章教學建立一個使用 Gemini API 的 Chrome Extension。
在網路上也看到蠻多人是透過 AI Studio 用問答的方式從頭由 AI 協助打造符合自己需求的 Chrome Extension。
Let’s Talk About LOVE to/with Gemini ¶
Google AI Studio 有提示庫，可以參考怎麼寫 Prompt。
Vertex AI Studio 比 Google AI studio 答案可信度高。
用 Google 的 IDX 開發小工具很方便，目前還是 Beta 免費。
用 Dialogflow CX，可以用 Auto Generate 直接串接 Chatbot webhook 與 Gemini API，免費試用期很長。
如何為公共場域的AI客服聊天機器人建構知識宇宙？ ¶
以 N 型未來學院的 Line Chatbot 為實際案例說明。
使用 Google AI Studio 的 Gemini 1.5 flash，免費額度是 15 RPM。目前還足夠使用。
Chatbot 在回覆開頭說自己是 AI 助理，使用者比較能容忍不合理的回覆內容。
AI 生成回應需要時間，我們可以讓 Line 有打字動畫，使用者就比較有耐心等待。
9 成問題可以單靠用 prompt 搞定。因為知識庫還不夠多，所以靠 prompt 就能處理的差不多了。具體做法是在 System 中塞約 30 個條件讓 AI 自己判斷。
Gemini 是很愛閒聊的大語言模型，所以在一些情境下我們會叫 Gemini 不要太多嘴。
因為發現使用者都是一來一回的單一問題，所以後來就變成單次對話的設計，沒有特別做連續對話情境的處理。
以Rails(Ruby on Rails)與鯨魚(Docker)開源技術打造醫院數位轉型生態系 ¶
在醫院中推廣使用 Rails 開發系統。
喜歡 Ruby 與 Rails 的理念。
在 Rails 中可以很容易地串接多種不同的資料庫。ORM 能夠協助簡化對資料庫的操作。由於現有的資料庫中有超過 2000 張表，透過動態建立對應的 Model Class，即可透過 ORM 進行操作，節省許多設定工作。
對於無法改動的舊系統，不是在原有的應用程式上面修改串接，而是直接讓 Rails 連接到舊系統的資料庫，用 ORM 直接對資料表進行操作。
使用 Docker 打包 Rails 應用程式，透過 GitLab CI 進行整合測試與部署。
感興趣但沒聽到的議程投影片 ¶
Ruby Taiwan Community ¶
題外話做個宣傳，觀迎加入 Ruby Taiwan Community Discord Server 一起聊天。